Lighting@刘迎光

Fluentd并非是专用于日志文件收集的，而是一个通用的信息收集、整理、转发的流式数据处理工具，日志收集只是它十分典型的一个运用场景。重要的是，Fluentd的日志收集功能对容器支持十分完备，远远胜于Logstash等传统日志收集工具。一方面得益于Fluentd社区开发了几种专用于Docker日志文件的收集插件，这些插件能够在Fluentd收集完Docker日志以后自动为它加上容器相关的信息，比较推荐其中的fluent-plugin-docker-metadata-filter这一款插件，它提供的信息颇为齐全。Logstash对于这方面依然比较空缺，GitHub上唯一能够找到的一款社区插件也已经在一年前就停止开发。另一方面，当前Docker官方支持的日志驱动除了默认的使用本地目录，还可以直接发送到远程的日志存储或日志采集服务，而其中日志采集服务目前仅仅支持Splunk和Fluentd，同样没有Logstash等老一辈开源日志工具的踪影。

安装elasticsearch

安装JDK或者openJDK（这里以openJDK为例）

[root@elk elk]# yum install java-1.8.0-openjdk -y

安装elasticsearch

[root@elk elk]# wget -c https://download.elastic.co/elasticsearch/release/org/elasticsearch/distribution/rpm/elasticsearch/2.3.3/elasticsearch-2.3.3.rpm
[root@elk elk]# yum localinstall elasticsearch-2.3.3.rpm -y
.....
  Installing : elasticsearch-2.3.3-1.noarch                                                                                             1/1
### NOT starting on installation, 

此篇文章主要讲述EFK与logback的整合，主要解决docker的log_driver的日志输出的问题：
1. 首先，处理错误栈信息的时候，docker会将错误栈分解成多行，而使用此插件，则可以将错误栈完整的保存在elasticsearch的一条记录中
2. docker内部的服务可以不用写日志文件了（或者有限循环），如果服务还活着，那么日志一定会被写入到elasticsearch

部署一套EFK

详情参考部署文档CentOS7 安装EFK（elasticsearch、fluent、kibana）进行Docker下日志搜集

打包日志插件

源码地址：logback-more-appenders

关于此插件的打包，这里不多做说明，相应jar包可以在刘迎光的nexus中找到，搜索“logback-more-appenders”即可

项目引用

pom.xml文件添加依赖

<project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"
    xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 http://maven.apache.org/maven-v4_0_0.xsd">
    <modelVersion>4.0.0</modelVersion>
    <groupId>com.firewarm</groupId>
    <artifactId>testLogback4Fluentd</artifactId>
    <packaging>war</packaging>
    <version>0.0.1-SNAPSHOT</version>
    <name>testLogback4Fluentd Maven Webapp</name>
    <url>http://maven.apache.org</url>
    <dependencies>
        <dependency>
            <grou

此篇文章主要讲述EFK与logback的整合，主要解决docker的log_driver的日志输出的问题：
1. 首先，处理错误栈信息的时候，docker会将错误栈分解成多行，而使用此插件，则可以将错误栈完整的保存在elasticsearch的一条记录中
2. docker内部的服务可以不用写日志文件了（或者有限循环），如果服务还活着，那么日志一定会被写入到elasticsearch

部署一套EFK

详情参考部署文档CentOS7 安装EFK（elasticsearch、fluent、kibana）进行Docker下日志搜集

打包日志插件

源码地址：logback-more-appenders

关于此插件的打包，这里不多做说明，相应jar包可以在刘迎光的nexus中找到，搜索“logback-more-appenders”即可

项目引用

pom.xml文件添加依赖

<project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"
    xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 http://maven.apache.org/maven-v4_0_0.xsd">
    <modelVersion>4.0.0</modelVersion>
    <groupId>com.firewarm</groupId>
    <artifactId>testLogback4Fluentd</artifactId>
    <packaging>war</packaging>
    <version>0.0.1-SNAPSHOT</version>
    <name>testLogback4Fluentd Maven Webapp</name>
    <url>http://maven.apache.org</url>
    <dependencies>
        <dependency>
            <groupI