使用FileBeat+Logstash+ES搭建ELK日志系统,架构图如下:
1、 使用docker快速创建ES服务和Kibana服务
前置条件:需要在linux上提前安装好docker和docker-compose
1.1、在linux创建好一个用于存放docker-compose配置文件的文件夹
- 我的目录是
/app/soft-docker-compose/ELK/elasticsearch
1.2、创建一个docker-compose.yml的文件
文件内容如下所示,受限于机器内存所以给ES服务配置的内存参数比较小,大家可根据机器性能自行配置(但最好配置大一些,不然性能可能受限)
version: '2.2' services: elasticsearch: image: docker.elastic.co/elasticsearch/elasticsearch:7.6.1 container_name: elasticsearch environment: - discovery.type=single-node # 单节点模式 #开启远程访问 # - network.host=0.0.0.0 #指定集群通信 IP(避免自动选择) - network.publish_host=192.168.75.128 - ES_JAVA_OPTS=-Xms512m -Xmx512m # 限制堆内存为 512MB - xpack.ml.enabled=false # 关闭机器学习 ports: - "9200:9200" - "9300:9300" volumes: # 数据卷映射:容器内路径固定,宿主机路径可自定义(需权限配置) - elasticsearch-data:/usr/share/elasticsearch/data # 配置文件映射:宿主机路径可自定义,容器内路径固定 - ./elasticsearch.yml:/usr/share/elasticsearch/config/elasticsearch.yml deploy: resources: limits: memory: 1g # 容器总内存上限 1GB # networks: # - elk_network # 加入自定义网络 kibana: image: docker.elastic.co/kibana/kibana:7.6.1 container_name: kibana environment: - ELASTICSEARCH_HOSTS=http://elasticsearch:9200 # 替代旧版 ELASTICSEARCH_URL - SERVER_HOST=0.0.0.0 - NODE_OPTIONS=--max-old-space-size=256 # Node.js 堆内存限制为 256MB - xpack.monitoring.enabled=false # 关闭监控 - I18N_LOCALE=zh-CN # 设置Kibana可视化平台为中文 ports: - "5601:5601" depends_on: - elasticsearch volumes: - ./kibana.yml:/usr/share/kibana/config/kibana.yml # 挂载Kibana配置文件 deploy: resources: limits: memory: 512m # 容器总内存上限 512MB # networks: # - elk_network # 加入自定义网络 #networks: # elk_network: # driver: bridge # 使用桥接驱动 volumes: elasticsearch-data: # 宿主机数据目录(可选自定义路径,默认由 Docker 管理) # 如需指定宿主机路径,替换为:`- /宿主机路径/elasticsearch-data:/usr/share/elasticsearch/data`
保存好后,直接在当前目录下执行命令:
docker-compose up -d
如果启动有问题,可以根据命令
docker logs -f <容器id>
显示出相关服务容器日志,根据错误自行排查解决
2、搭建LogStash服务
2.1、下载与ES配套的LogStash版本发布包、修改配置文件
- 官网下载地址:https://www.elastic.co/cn/downloads/past-releases#logstash
- 解压到ES目录下,并进入Logstash目录
- 使用命令
vim ~/.bash_profile
配置环境变量LS_JAVA_HOME
在文件后追加:export LS_JAVA_HOME=/app/soft-docker-compose/ELK/logstash-7.17.13/jdk
- 接下来对logstash的输入和输出目录进行配置。进入config目录,在目录下直接修改logstash-sample.conf文件即可
# Sample Logstash configuration for creating a simple # Beats -> Logstash -> Elasticsearch pipeline. # 从filebeat输入消息,接收的端口是5044 input { beats { port => 5044 } } # 对输入的内容进行格式化处理,这里用grok插件处理非结构化数据 # COMBINEDAPACHELOG是针对APACHE服务器提供的一种通用的解析格式,也适用于解析Nginx日志 filter { grok { match => { "message" => "%{COMBINEDAPACHELOG}"} } } # 数据的输出,这里将结果输出到本机的elasticsearch中,索引是nginxlog output { elasticsearch { hosts => ["http://192.168.75.128:9200"] #index => "%{[@metadata][beat]}-%{[@metadata][version]}-%{+YYYY.MM.dd}" index => nginxlog # 本次以收集nginx服务的access.log日志为例 user => "elastic" # 如果es配置了验证需要加这个配置 password => "123456" # 同上,由于我的是内网,暂时不加校验 } }
- 如上的配置就可以过滤FileBeat收集到的日志了,logstash更详细的配置说明参见官方文档:https://www.elastic.co/guide/en/logstash/7.17
2.2、启动Logstash服务
- 接下来直接使用命令启动Logstash服务:
nohup bin/logstash -f config/logstash-sample.conf --config.reload.automatic &
- 可以查看当前目录下的
nohup.out
启动日志,看有无异常
3、搭建Filebeat服务
3.1、下载对应版本的Filebeat发布包、修改filebeat.yml
- 去官网下载对应版本的filebeat发布包,官网下载地址:https://www.elastic.co/cn/downloads/past-releases#filebeat
- 解压后,在解压目录下已经提供了一个模版配置文件filebeat.yml,我们需要对其修改,主要是改从文件读取日志不分,还有输出到logstash的部分
先修改文件输入的部分配置:
# ============================== Filebeat inputs =============================== filebeat.inputs: - type: filestream # Change to true to enable this input configuration. enabled: true # Paths that should be crawled and fetched. Glob based paths. paths: - /var/log/nginx/access.log # 需要收集的日志文件路径,可以配多个 #- c:\programdata\elasticsearch\logs\*
然后修改输出到logstash的部分配置:
# ------------------------------ Logstash Output ------------------------------- output.logstash: # The Logstash hosts hosts: ["192.168.75.128:5044"]
注意:默认打开的是output.elasticsearch,输入到es,这部分配置要注释掉!我们需要现将日志收集到Logstash对数据进行过滤、分析和统一格式等。当然也可以用Logstash直接收集,但是Logstash服务过重,如果在每个应用上都部署一个Logstash,会给应用服务器增加很大的负担。因此,通常会在应用服务器上,部署轻量级的Filebeat组件。Filebeat可以持续稳定的收集简单数据,比如log日志,统一发给logstash进行收集后,再经过处理存到ES。
更详细的配置参见官方文档: https://www.elastic.co/guide/en/beats/filebeat/7.17/logstash-output.html
3.2、启动Filebeat服务
- 执行启动命令:
nohup ./filebeat -e -c filebeat.yml -d "publish" &
- 进入Kibana可视化平台页面,查询验证ELK日志服务是否OK
- 通过日志在Kibana上统计PV、UV
谢谢~ 爱在深秋,peace!