企业级日志分析系统ELK

7.ES 文档路由

ES 文档是分布式存储，当在 ES 集群访问或存储一个文档时，由下面的算法决定此文档到底存放在哪个主分片中, 再结合集群状态找到存放此主分片的节点主机。

shard = hash(routing) % number_of_primary_shards

hash                     # 哈希算法可以保证将数据均匀分散在分片中

routing                   # 用于指定用于 hash 计算的一个可变参数，默认是文档 id ，也可以自定义

number_of_primary_shards # 主分片数

# 注意：该算法与主分片数相关，一旦确定后便不能更改主分片，因为主分片数的变化会导致所有分片需要重新分配

可以发送请求到集群中的任一节点。每个节点都知道集群中任一文档位置， 每个节点都有能力接收请求 , 再接将请求转发到真正存储数据的节点上

ES 文档创建删除流程

10.Beats 收集数据

关于：Beats 是一个免费且开放的平台，集合了多种单一用途数据采集器。它们从成百上千或成千上万台机器和系统向 Logstash 或 Elasticsearch 发送数据。 虽然利用 logstash 就可以收集日志，功能强大，但由于 Logstash 是基于Java实现，需要在采集日志的主机上安装JAVA环境。logstash运行时最少也会需要额外的500M的以上的内存，会消耗比较多的内存和磁盘空间，

filebeat.inputs:
- type: stdin
  json.keys_under_root: true  # 解析JSON并将键提升到根级别

output.console:
  pretty: true

13.案例: 从标准输入读取再输出至 Json 格式的文件

filebeat.inputs:
- type: stdin
  enabled: true
  json.keys_under_root: true  # 默认False会将json数据存储至message，true则会将数据以独立字段存储,并且删除message字段，如果是文本还是放在message字段中

output.file:
  path: "/tmp"
  filename: "filebeat.log"

filebeat -e -c /etc/filebeat/stdout_file.yml    #执行操作
{"name" : "xiaoming", "age" : "18", "phone" : "0123456789"}  #输入此项内容

apt -y install jq    #Json格式整理
cat /tmp/filebeat.log-20250729.ndjson|jq    #查看生成的Json数据  8.X版本

14.案例: 从文件读取再输出至标准输出

注意:当前filebeat-9.X 文件读出有bug
https://www.elastic.co/guide/en/beats/filebeat/current/filebeat-input-log.html

filebeat.inputs:
- type: filestream  # 此指令配置json.keys_under_root: true 也不支持Json格式解析
  # type: log       # 旧版，将来废弃
  enabled: true
  paths:
    # - /var/log/syslog
    - /var/log/test.log

output.console:
  pretty: true
  enable: true

15.案例: 利用 Filebeat 收集系统日志到 ELasticsearch 

filebeat.inputs:
- type: log
  json.keys_under_root: true
  enabled: true              # 开启日志
  paths:
    - /var/log/syslog        # 指定收集的日志文件

# -------------------------- Elasticsearch output ------------------------------
output.elasticsearch:
  hosts: ["10.0.0.101:9200", "10.0.0.102:9200", "10.0.0.103:9200"]  # 指定ELK集群任意节点的地址和端口,多个地址容错

方法2：
#或者修改syslog.conf
[root@elk-web1 ~]#vim /etc/rsyslog.conf
*.* /var/log/system.log

[root@elk-web1 ~]#systemctl restart rsyslog.service
[root@elk-web1 ~]#vim /etc/filebeat/filebeat.yml
/var/log/system.log      #指定收集的日志文件    唯一不一样的地方，其他同上
[root@elk-web1 ~]#systemctl enable --now filebeat.service