elfk 搭建系列(五) -- filebeat 的安装
2.1.6 Filebeat 安装
a. 安装
在想要监控日志的机器上安装 filebeat,使用的源与 elk 集群中的源一致。使用如下命令。
yum -y install filebeat
b. 配置文件的修改
filebeat.inputs: - type: log # 定义类型 enable: true # 合并日志(匹配年份“-2019” 或 “2019”) multiline.pattern: "^-{ 0,1}[0-9]{ 4}-*" # 定义合并日志 message 的规则,比如将 java 报错栈合并在一起 multiline.negate: true multiline.match: after paths: - /var/log/message1 fields: tag: log1 # 添加不同的标签,用作解析时的不同的判断方式 - type: log enable: true paths: - /var/log/message2 fields: tag: log2 reload.enabled: true output: # 输出 logstash: # 输出到 logstash hosts: ["elk1.test.xyz", "elk2.test.xyz", "elk3.test.xyz"] # logstash 的主机地址
c. 启动 filebeat
systemctl start filebeat systemctl enable filebeat
启动完成后,稍等会就可以使用完整的 elfk 的完整功能了。当然了,每个公司对于 elk 的需求是不同的,本系列只做参考。
需要注意的是, 在 elfk 的集群中,最消耗系统资源的是 elasticsearch ,在日常的使用中,最容易出现问题的也是 elasticsearch ,大部分的原因都是因为内存不够,有时候不仅仅是只考虑增加机器的内存。需要从引起问题的原因本质出发,比如说设置索引的生命周期,将不常用的索引设置为 warm 或者 cold,或者将缓存减少。出现问题时,注意多分析日志,日志可以解决你几乎所有的问题。
还有一点,如果 kibana 页面也出现问题,也很有大部分的原因是 elasticsearch 集群出现问题,然后就去看 elasticsearch 的日志吧。。。
然后就是在实践中不断地做出调整了。