elk部署加日志收集

清华大学镜像源地址：Index of /elasticstack/8.x/yum/8.13.2/ | 清华大学开源软件镜像站 | Tsinghua Open Source Mirror

一、elasticsearch

1.安装

rpm -ivh elastic-agent-8.13.2-x86_64.rpm

2.修改配置

vim /etc/elasticsearch/elasticsearch.yml

修改如下：

去掉cluster.name注释，起个名字
cluster.name: my-es

去掉node.name注释，起个名字
#node.name: es01

看情况是否需要修改日志目录和数据库目录
path.data: /var/lib/elasticsearch
path.logs: /var/log/elasticsearch

去掉network.host注释，主机ip改成自己的
network.host: 192.168.63.230

去掉http.port注释
http.port: 9200

去掉discovery.seed_hosts注释，es本身是个集群环境，如果只有一台，那就只把自己的ip填进去
discovery.seed_hosts: ["192.168.63.230"]

下面两行认证，es8以后默认是开启的，我们给关闭，改成false
xpack.security.enabled: false
xpack.security.enrollment.enabled: false

修改集群选举的管理节点主机列表，只有一台，就当做管理节点
cluster.initial_master_nodes: ["192.168.63.230"]

3.启动并设置开机自启

systemctl enable elasticsearch --now 

二、kibana

1.安装

rpm -ivh kibana-8.13.2-x86_64.rpm

2.修改配置

vim /etc/kibana/kibana.yml

修改如下：

去掉server.port注释
server.port: 5601

去掉host注释，改成自己主机的ip
server.host: "192.168.63.230"

去掉elasticsearch.hosts注释，改成es的地址
elasticsearch.hosts: ["http://192.168.63.230:9200"]

去掉注释，并把语言改成zh-CN简体中文
i18n.locale: "zh-CN"

3.启动

systemctl enable kibana --now

访问默认端口5601，例如http://192.168.63.230:5601/

三、logstash

1.安装jdk17,elk都是基于java开发的，但是elastic和kibana内置了jdk17,不需要安装

jdk17下载：

sudo wget https://download.java.net/java/GA/jdk17.0.1/2a2082e5a09d4267845be086888add4f/12/GPL/openjdk-17.0.1_linux-x64_bin.tar.gz

2.安装logstash

rpm -ivh logstash-8.13.2-x86_64.rpm

3.不需要修改配置文件

4.软链接 这样就不用输入绝对路径使用logstash

ln -s /usr/share/logstash/bin/logstash /usr/bin/

5.官方参考文档 

https://www.elastic.co/docs/reference/logstash/plugins/input-plugins

6.编辑配置文件

logstash.conf起什么名字无所谓

ls /etc/logstash/
vim /etc/logstash/conf.d/logstash.conf

例如

[root@lamp log]# cat /etc/logstash/conf.d/logstash.conf 
#收集日志
input {
  file {
    path => "/var/log/app.log"
  }
}

#过滤日志


#输出日志 rubydebug输入到标准终端
output {
  stdout { codec => rubydebug }
}

7.启动logstash -r的作用是后续对该配置文件做修改不需要再重启

logstash -f /etc/logstash/conf.d/logstash.conf -r

如下即启动成功

模拟写入一条日志

tail -1 zhiliaooa.log >> /var/log/app.log

终端输出