ELK Fleet JAVA LOG收集与展示教程-EW帮帮网

fleet：fleet是Kibana上的一个应用软件，通过与后端的资源包仓库建立连接，可以获取elastic最新发布的资源。同时，fleet可以通过Agent policy的方式，为我们定义采集端的规则和配置。Agent policy由fleet保存到elasticsearch
fleet server ：定期从elasticsearch拉取最新的Agent policy。并通知elastic agent及时获取最新的配置
elastic agent：elastic agent采集的数据，则是直接发送给elasticsearch，每个agent会采用单独的api-key与elasticsearch建立连接，保证数据及时的同步到elasticsearch当中

Elastic Agent的优势

简单来说就是一个集成了各种beats的代理插件，原本需要部署n个beats收集n种日志，现在只需要elastic Agent即可。

集成各类beats

配置文件通过Agent Policy来修改

原本需要调每一个服务器上的beat的配置文件，现在直接改Agent Policy即可，如一个关于nginx的policy可以供一群nginx服务器使用

使用keys取代password

不需要连接密码，使用api keys来调用各类接口，底层使用gRpc框架

参考文档

https://zhuanlan.zhihu.com/p/658197020

Elastic agent集群部署及注意事项-CSDN博客

腾讯云Elastic使用教程：使用Fleet集中管理Elastic Agent-腾讯云开发者社区-腾讯云

Fleet JAVA日志收集流程

1.注册Fleet Sever

部署Fleet服务器，在linux服务器上执行，如果失败可以加上 --insecure 参数

curl -L -O https://artifacts.elastic.co/downloads/beats/elastic-agent/elastic-agent-8.9.1-linux-x86_64.tar.gz
tar xzvf elastic-agent-8.9.1-linux-x86_64.tar.gz
cd elastic-agent-8.9.1-linux-x86_64
sudo ./elastic-agent install \
  --fleet-server-es=http://es-cn-g4t3jwysq0006cyzu.elasticsearch.aliyuncs.com:9200 \
  --fleet-server-service-token=AAEAAWVsYXN0aWMvZmxlZXQtc2VydmVyL3Rva2VuLTE3MDQ5NDI4MzAwNjU6V04tMGtTc09URnlvYWpDZmx6RkNaUQ \
  --fleet-server-policy=fleet-server-policy \
  --fleet-server-port=8220

格式为 https://172.16.0.58:8220（填自己的ip)

8220 为Fleet Server的端口

2.创建JAVA代理收集策略Agent Policy

3.添加集成 integration

填写java日志的文件地址

在高级部分填写Custom configurations，目的是为了加入多行日志收集功能（默认为单行收集）

multiline:
  type: pattern
  pattern: '^\d{4}-\d{1,2}-\d{1,2}\s\d{1,2}:\d{1,2}:\d{1,2}.\d{3}'
  negate: true
  match: after

4.调整Java log输出格式

在服务上配置logback.xml，注意level处，这里屏蔽了DEBUG，其他日志级别有INFO，WARNING ，ERROR

<!--level为 all 日志-->
    <appender name="FILE" class="ch.qos.logback.core.rolling.RollingFileAppender">
        <!--将今天的日志保存在这个文件中,-->
        <file>xxx.log</file>
        <rollingPolicy class="ch.qos.logback.core.rolling.TimeBasedRollingPolicy">
            <fileNamePattern>xxx.%d{yyyy-MM-dd}.log</fileNamePattern>
            <!--保存最近7天的日志-->
            <maxHistory>7</maxHistory>
            <!--所有的日志文件最大1G，超过就会删除旧的日志;-->
            <totalSizeCap>1GB</totalSizeCap>
        </rollingPolicy>
        <encoder>
            <!--格式化输出：%d表示日期，%thread表示线程名，%-5level：级别从左显示5个字符宽度 %logger输出日志的logger名 %msg：日志消息，%n是换行符 -->
            <pattern>%d{yyyy-MM-dd HH:mm:ss.SSS} [%thread] %-5level %logger{36} - %msg%n</pattern>
            <charset>UTF-8</charset>
        </encoder>
        <filter class="ch.qos.logback.classic.filter.LevelFilter">
            <level>DEBUG</level>
            <onMatch>DENY</onMatch>
            <onMismatch>ACCEPT</onMismatch>
        </filter>
    </appender>

     <!-- 异步输出,采用异步写日志的方式而不让此次写日志发生磁盘IO，阻塞线程从而造成不必要的性能损耗 -->
     <appender name="ASYNC_FILE" class="ch.qos.logback.classic.AsyncAppender">
        <!-- 不丢失日志.默认的,如果队列的80%已满,则会丢弃TRACT、DEBUG、INFO级别的日志 -->
        <discardingThreshold>0</discardingThreshold>
        <!-- 更改默认的队列的深度,该值会影响性能.默认值为256 -->
        <queueSize>256</queueSize>
        <!-- 添加附加的appender,最多只能添加一个 -->
        <appender-ref ref="FILE"/>
    </appender>

    <!--这里如果是info，spring、mybatis等框架则不会输出info之下的，TRACE < DEBUG < INFO <  WARN < ERROR-->
    <springProfile name="prod">
        <root>
            <appender-ref ref="ASYNC_FILE"/>
        </root>
    </springProfile>

5.添加Elastic Agent

agent的作用建立与fleet server的联系，enroll后，拉取提前配置好的Policy，达到一次policy管理多个agent

策略处选择步骤2创建的Policy

执行失败可添加 --insecure参数

curl -L -O https://artifacts.elastic.co/downloads/beats/elastic-agent/elastic-agent-8.9.1-linux-x86_64.tar.gz
tar xzvf elastic-agent-8.9.1-linux-x86_64.tar.gz
cd elastic-agent-8.9.1-linux-x86_64
sudo ./elastic-agent install --url=https://172.16.0.58:8220 --enrollment-token=MVF1Rzlvd0JKVUlHT3RnellIMW46czVpdTVHTFZUYVM0T0oyeVl3MmVmUQ==

elastic-agent status 查看状态,也可以在数据流中看到日志了

6.添加Ingest

ingest为一个管道收集器，可以定制如何收集日志

字段处填写message，模式填写

%{TIME:timestamp} \[%{DATA:thread}\] %{WORD:loglevel} %{GREEDYDATA:logger} - %{GREEDYDATA:content}

7.创建数据视图

为了更好的数据展示，可以创建数据视图，创建好后在discover下查看即可

8.其他Policy

nginx-policy

logs位置，以实际为准

system-policy

/var/log/auth.log*：录认证相关事件的日志文件。它通常包含与用户登录、sudo 操作等相关的信息。这个文件对于查看系统安全性和监视用户活动非常有用。
/var/log/secure*：是在一些基于 Red Hat 的 Linux 发行版（如 CentOS、Fedora）上用于存储安全相关日志的文件。该文件通常包含与系统安全、认证、授权和相关事件有关的信息
/var/log/messages*：是一个系统日志文件，用于存储与系统运行相关的通用消息。它包含了各种系统级别的信息，如启动和关机事件、硬件和内核消息等。这个文件通常是一个记录系统广泛信息的综合性日志文件
/var/log/syslog*：用于存储来自系统日志守护程序（syslogd）的通用系统消息