Tag - CentOS7

CentOS7 EFK docker elasticsearch fluent kibana 日志    2017-07-19 20:11:59    10

Fluentd并非是专用于日志文件收集的,而是一个通用的信息收集、整理、转发的流式数据处理工具,日志收集只是它十分典型的一个运用场景。重要的是,Fluentd的日志收集功能对容器支持十分完备,远远胜于Logstash等传统日志收集工具。一方面得益于Fluentd社区开发了几种专用于Docker日志文件的收集插件,这些插件能够在Fluentd收集完Docker日志以后自动为它加上容器相关的信息,比较推荐其中的fluent-plugin-docker-metadata-filter这一款插件,它提供的信息颇为齐全。Logstash对于这方面依然比较空缺,GitHub上唯一能够找到的一款社区插件也已经在一年前就停止开发。另一方面,当前Docker官方支持的日志驱动除了默认的使用本地目录,还可以直接发送到远程的日志存储或日志采集服务,而其中日志采集服务目前仅仅支持Splunk和Fluentd,同样没有Logstash等老一辈开源日志工具的踪影。

安装elasticsearch

安装JDK或者openJDK(这里以openJDK为例)

  1. [root@elk elk]# yum install java-1.8.0-openjdk -y

安装elasticsearch

  1. [root@elk elk]# wget -c https://download.elastic.co/elasticsearch/release/org/elasticsearch/distribution/rpm/elasticsearch/2.3.3/elasticsearch-2.3.3.rpm
  2. [root@elk elk]# yum localinstall elasticsearch-2.3.3.rpm -y
  3. .....
  4. Installing : elasticsearch-2.3.3-1.noarch 1/1
  5. ### NOT starting on installation,
CentOS7 EFK elasticsearch fluent kibana    2017-05-26 13:11:54    50

Fluentd并非是专用于日志文件收集的,而是一个通用的信息收集、整理、转发的流式数据处理工具,日志收集只是它十分典型的一个运用场景。重要的是,Fluentd的日志收集功能对容器支持十分完备,远远胜于Logstash等传统日志收集工具。一方面得益于Fluentd社区开发了几种专用于Docker日志文件的收集插件,这些插件能够在Fluentd收集完Docker日志以后自动为它加上容器相关的信息,比较推荐其中的fluent-plugin-docker-metadata-filter这一款插件,它提供的信息颇为齐全。Logstash对于这方面依然比较空缺,GitHub上唯一能够找到的一款社区插件也已经在一年前就停止开发。另一方面,当前Docker官方支持的日志驱动除了默认的使用本地目录,还可以直接发送到远程的日志存储或日志采集服务,而其中日志采集服务目前仅仅支持Splunk和Fluentd,同样没有Logstash等老一辈开源日志工具的踪影。

安装elasticsearch

安装JDK或者openJDK(这里以openJDK为例)

  1. [root@elk elk]# yum install java-1.8.0-openjdk -y

安装elasticsearch

  1. [root@elk elk]# wget -c https://download.elastic.co/elasticsearch/release/org/elasticsearch/distribution/rpm/elasticsearch/2.3.3/elasticsearch-2.3.3.rpm
  2. [root@elk elk]# yum localinstall elasticsearch-2.3.3.rpm -y
  3. .....
  4. Installing : elasticsearch-2.3.3-1.noarch 1/1
  5. ### NOT starting on installation,
Docker overlay CentOS7 容器    2017-03-26 21:25:25    9

==首先要升级到CentOS7.2,有一个XFS的Bug在7.2系统被修复了。==

docker 1.11

将OverlayFS加到module目录下

  1. echo "overlay" > /etc/modules-load.d/overlay.conf
  2. # lsmod | grep over
  3. overlay 42451 0
  4. reboot

配置Docker Daemon用OverlayFS启动:

创建文件夹

  1. mkdir -p /etc/systemd/system/docker.service.d

加入参数:

  1. cat >/etc/systemd/system/docker.service.d/override.conf <<E
  2. [Service]
  3. ExecStart=
  4. ExecStart=/usr/bin/docker daemon --storage-driver=overlay -H fd://
  5. E

重启

  1. systemctl daemon-reload
  2. systemctl restart docker

docker 1.12

将OverlayFS加到module目录下

  1. echo "overlay" > /etc/modules-load.d/overlay.conf
  2. lsmod | grep over
  3. reboot

停止docker服务

  1. rm -rf /var/lib/docker

修改docker的配置文件

  1. vi /usr/lib/systemd/system/docker.service

修改配置:
找到如下一行

  1. ExecStart=/usr/bin/dockerd

加入参数:

  1. --storage-driver=overlay

重启

  1. systemctl daemon-reload
  2. systemctl restart docker

by 刘迎光@萤火虫工作室
OpenBI交流群:495266201
MicroService 微服务交流群:217722918
mail: liuyg#liuy