目录
修改logstash的配置文件,使日志输出到elasticsearch
日志主要包括系统日志、应用程序日志和安全日志。系统运维和开发人员可
以通过日志了解服务器软硬件信息、检查配置过程中的错误及错误发生的原因。
经常分析日志可以了解服务器的负荷,性能安全性,从而及时采取措施纠正错误
通常,日志被分散的储存不同的设备上。如果你管理数十上百台服务器,你
还在使用依次登录每台机器的传统方法查阅日志。这样是不不是感觉很繁琐和效率
低下。当务之急我们使用集中化的日志管理,例如:开源的syslog,将所有服
务器上的日志收集汇总。集中化管理日志后,日志的统计和检索又成为一件比较麻烦的事情,一般我们使用grep、awk和wc等Linux命令能实现检索和统计,但是对于要求更高的
查询、排序和统计等要求和庞大的机器数量依然使用这样的方法难免有点力不从开源实时日志分析ELK平台能够完美的解决我们上述的为问题,ELK由
ElasticSearch、Logstash和Kiabana三个开源工具组成
Elasticsearch是个开源分布式搜索引擎,它的特点有:分布式,零配置,
自动发现,索引自动分片,索引副本机制,restful风格接口1,多数据源,自动
搜索负载等。Logstash是一个完全开源的工具,他可以对你的日志进行收集、过滤,并将
其存储供以后使用(如,搜索Kibana也是一个开源和免费的工具,它Kibana可以为LogstaashElasticSearch提供的日志分析友好的Web界面,可以帮助您汇总、分析和搜
索重要数据日志。
Elasticsearch是一个基于Lucene的搜索服务器。它提供了一个分布式多用
户能力的全文搜索引擎,基于RESTfulweb接口。Elasticsearch是用Java开
发的,并作为Apache许可条款下的开放源码发布,是当前流行的企业级搜索引
擎。设计用于云计算中,能够达到实时搜索,稳定,可靠,快速,安装使用方便。
2.2Elasticsearch核心概念(1)接近实时(NRT)
Elasticsearch是一个接近实时的搜索平台。这意味着,从索?引一个文档直
到这个文档能够被搜索到有一个轻微的延迟(通常是1秒》。
集群(cluster)一个集群就是由一个或多个节点组织在一起,它们共同持有你整个的数据,
并一起提供索引和搜索功能。一个集群由一个唯一的名字标识,这个名字默认就
是"elasticsearch"。这个名字是重要的,因为一个节点只能通过指定某个集
群的名字,来加入这个集群。(3)节点(node)
一个节点是你集群中的一个服务器,作为集群的一部分,它存储你的数据,
参与集群的索引和搜索功能。和集群类似,一个节点也是由一个名字来标识的,
默认情况下,这个名字是一个随机的漫威漫画角色的名字,这个名字会在启动的
时候赋予节点。这个名字对于管理工作来说挺重要的,因为在这个管理过程中,
你会去确定网络中的哪些服务器对应于Elasticsearch集群中的哪些节点。
一个节点可以通过配置集群名称的方式来加入一个指定的集群。默认情况下,
每个节点都会被安排加入到一个叫做"elasticsearch"的集群中,这意味着,
如果你在你的网络中启动了若干个节点,并假定它们能够相互发现彼此,它们将
会自动地形成并加入到一个叫做"elasticsearch"的集群中。
在一个集群里,只要你想,可以拥有任意多个节点。而且,如果当前你的网络中
没有运行任何Elasticsearch节点,这时启动一个节点,会默认创建并加入一个
叫做"elasticsearch"的集群。索引(index)一个索引就是一个拥有几分相似特征的文档的集合。比如说,你可以有一个客户数据的索引,另一个产品目录的索引,还有一个订单数据的索引。一个索引由一个名字来标识(必须全部是小写字母的),并且当我们要对对时应于这个索引中的文档进行索引、搜索、更新和删除的时候,都要使用到这个名字。在一个集群中,可以定义任意多的索引。(5)类型(type)在一个索引中,你可以定义一种或多种类型。一个类型是你的索引的一个逻辑上的分类/分区,其语义完全由你来定。通常,会为具有一组共同字段的文档定义一个类型。比如说,我们假设你运营一个博客平台并且将你所有的数据存储到一个索引中。在这个索引中,你可以为用户数据定义一个类型,为博客数据定义另一个类型,当然,也可以为评论数据定义另一个类型。(6)文档(document)
一个文档是一个可被索引的基础信息单元。比如,你可以拥有其某一个客户的
文档,某一个产品的一个文档,当然,也可以拥有某个订单的一个文档。文档以
JSON(Javascript ObjectNotation)格式来表示,而JS50N是一个到处存在的
互联网数据交互格式。在一个index/type里面,你可以存储任意多的文档。注意,尽管一个文档,物理上存在于一个索引之中,文档必须被索引/赋予一个索引的type
(7)分片和复制(shards&replicas)一个索引可以存储超出单个结点硬件限制的大量数据。比如,一个具有10亿文档的索引占据1TB的磁盘空间,而任一节点都没有这样大的磁盘空间:或者单个节点处理搜索请求,响应太慢。为了解决这个问题,Elasticsearch提供了
将索引划分成多份的能力,这些份就叫做分片。当你创建-一个索引的时候,你可
以指定你想要的分片的数量。每个分片本身也是一个功能完善并且独立的"索引",
这个"索引"可以被放置到集群中的任何节点上。分片很重重要,主要有两方面的原因1)允许你水平分割/扩展你的内容容量。2)允许你在分片(潜在地,位于多个节点上)之上进行分布式的、并行的操作,进而提高性能/吞吐量。至于一个分片怎样分布,它的文档怎样聚合回搜索请求,是完全由Elasticsearch管理的,对于作为用户的你来说,这些都是透暖明的
在一个网络/云的环境里,失败随时都可能发生,在某个分片/节点不知怎么
的就处于离线状态,或者由于任何原因消失了,这种情况下,有一个故障转移机
制是非常有用并且是强烈推荐的。为此目的,Elasticsearch允许你创建分片的
一份或多份拷贝,这些拷贝叫做复制分片,或者直接叫复制。
复制之所以重要,有两个主要原因:在分片/节点失败的情况下,提供了高
可用性。因为这个原因,注意到复制分片从不与原/主要(orriginal/primary)
分片置于同一节点上是非常重要的。扩展你的搜索量/吞吐量,因为搜索可以在
所有的复制上并行运行。总之,每个索引可以被分成多个分片。一个索引也可以
被复制0次(意思是没有复制)或多次。一旦复制了,每个索引就有了主分片(作
为复制源的原来的分片)和复制分片(主分片的拷贝)之别。分片和复制的数量
可以在索引创建的时候指定。在索引创建之后,你可以在任何时候动态地改变复
制的数量,但是你事后不能改变分片的数量。默认情况下,Elasticsearch中的每个索引被分片5个主分片和1个复制,在两个节点的场景中,每个索引将会有5个主分片和另外5个副本分片,每个索
Logstash有JRuby语言编写,运行在Java虚拟机(JVM)上,是一款强大的
数据处理工具,可以实现数据传输、格式处理、格式化输出出。Ligstash具有强
大的插件功能,常用于日志处理。Logstash的设计理念:Logstash只做三件事,数据输入、数据加工、数据输出
input数据输入端,可以接收来自任何地方的源数据。
file:从文件中读取
syslog:监听在514端口的系统日志信息,并解析成RFC3164格式。
redis:从redis-server list中获取
beat:接收来自Filebeat的事件
)Filter数据中转层,主要进行格式处理,数据类型转换、数据过滤、字段
添加,修改等,常用的过滤器如下。
grok:通过正则解析和结构化任何文本。
mutate:在事件字段执行一般的转换。可以重命名、删除、替替换和修改事件字段
drop:完全丢弃事件,如debug事件。
clone:复制事件,可能添加或者删除字段。
geoip:添加有关IP地址地理位置信息。
(3)output是logstash工作的最后一个阶段,负责将数据输出到指定位置,
兼容大多数应用,常用的有:
elasticsearch:发送事件数据到Elasticsearch,便于查询,分分析,绘图。
file:将事件数据写入到磁盘文件上。
mongodb:将事件数据发送至高性能NoSQL mongodb,便于永久存储,查询,分析,
大数据分片。
redis:将数据发送至redis-server,常用于中间层暂时缓不存。
graphite:发送事件数据到graphite。
statsd:发送事件数据到statsd。
Kibana是一个设计使用和Elasticsearch配置工作的开源分分析和可视化平
台。可以用它进行搜索、查看、集成Elasticsearch中的数据索引。可以利用各
种图表、报表、地图组件轻松的对数据仅进行可视化分析
Elasticsearch无缝集成
整合数据
复杂数据分析
让更多的团队成员收益
接口灵活
配置简单
可视化多数据源
简单数据导出
设置 hosts 文件
192.168.10.103 elk1
192.168.10.104 elk2关闭防火墙
systemctl stop firewalld
systemctl disable firewalld
setenforce 0
sed -i "s/SELINUX=enforcing/SELINUX=disabled/" /etc/selinux/config
vim /etc/selinux/config
SELINUX=disabled创建 es 运行用户将用户提权切换用户
useradd es
passwd es
gpasswd -a es whell
visudo
su es部署环境安装为用户设置资源访问限制
dnf -y install java-11
vim /etc/security/limits.conf
es soft nofile 65535 //soft软限制，一个进程最多能打开的的文件数
es hard nofile 65535 //hart硬限制
es soft nproc 65535 //soft软限制，一个用户最多能创建的进程数
es hard nproc 65535 //hart硬限制
es soft memlock unlimited //memlock锁定内存地址空间（unlimited 不限制）
es hard memlock unlimited
vim /etc/sysctl.conf
vm.max_map_count=655360
sudo sysctl -p
reboot
创建数据存放路径并授权
sudo mkdir -p /elk/data
sudo mkdir -p /elk/logs
sudo chown -R es:es /path/to/
sudo chown -R es:es /etc/elasticsearch/
/etc/local/elasticsearc/bin/elasticsearch &
sudo netstat -anpt | grep 9200查看节点信息
192.168.10.103:9200/_cat/nodes关闭防火墙
systemctl stop firewalld
systemctl disable firewalld
setenforce 0
sed -i "s/SELINUX=enforcing/SELINUX=disabled/" /etc/selinux/config
部署环境
yum -y install java-11
tar zxvf logstash-7.10.0-linux-x86_64.tar.gz
mv logstash-7.10.0 /etc/logstash添加权限
chmod -R 777 /etc/logstash/data/
/etc/logstash/bin/logstash -e 'input {stdin{}} output{stdout{codec => rubydebug}} '
[log]chmod o+r messages
cd /etc/logstash
ls
cd config/
vim system.conf
input {
file{
path =>"/var/log/messages"
type =>"system"
start_position =>"beginning"
}
}
output {
elasticsearch {
hosts => ["192.168.10.103:9200"]
index =>"system-%{+YYYY.MM.dd}"
}
}
#运行 logstash
/etc/logstash/bin/logstash -f /etc/logstashconfig/system.conf &[root@elk2 ~]# tar zxvf filebeat-7. 10.0-linux-x86_64.tar. gz
[root@elk2 ~]# mv filebeat-7.10.0-linux-x86_64 /usr/local/filebeat[root@elk2 ^]# yum -y install httpd
[root@elk2 ^]# systemctl start httpd
[root@elk2 ^]# echo 'www.kgc.com' >/var/www/html/index.lhtml
[root@elk2 ^]# curl 192.168.10.102
www.kgc.com
[root@elk2 ^]# cat /var/log/httpd/access_log
192.168.10.102 - - 28/Apr/2025:20:31:02 +0800] "GET / HTTP/1.1" 200
12 cur1/8.4.0'
[root@elk2^]# cat /var/log/httpd/error_log修改logstash的配置文件,使日志输出到elasticsearch
[root@elkl ~]# vim /usr/local/logstash/config/beats.coonf
input {
beats {
5044
port =>
json
codec
output {
elasticsearch
["192.168.10.103:9200"]
hosts
index
weblog-beat-% {+YYYY.MM.dd}
}
}[root@elkl ~]# tar zxvf kibana-7.10.0-linux-x86_64.targ2
[root@elkl ~]# mv kibana-7.10.0-linux-x86_64/usr/local/kibana修改kibana主配置文件
[root@elkl opt]$ vim /usr/local/kibana/config/kibana. ym1
server. port: 5601
##2行,监听端口
server. host: "0.0.0.0"
##7行,监听地址
elasticsearch. hosts:
"http://192.168.10.103:9200"
##28行,ES主
机的IP地址
kibana.index:
kibana
##32行
[root@elkl`]# chown -R es:es /usr/local/kibana/启动Kibana服务
[root@localhost# su es
[es@elkl ~]$ nohup /usr/local/kibana/bin/kibana &