filebeat同时收集错误日志与普通日志并存详解

更新时间:2022-08-23 09:57:28

这篇文章主要为大家介绍了filebeat同时收集错误日志与普通日志并存详解,有需要的朋友可以借鉴参考下,希望能够有所帮助!

1.配置filebeat收集error日志

只收集正常日志往往是不完整的,错误日志更需要收集起来

所有集群都按如下配置,其实就是增加了一个type和一个index

vim /etc/filebeat/filebeat.yml
filebeat.inputs:
- type: log
  enabled: true
  paths:
- /var/log/nginx/www_access.log
  json.keys_under_root: true
  json.overwrite_keys: true
  tags: ["www"]
- type: log
  enabled: true
  paths:
- /var/log/nginx/bbs_access.log
  json.keys_under_root: true
  json.overwrite_keys: true
  tags: ["bbs"]
- type: log
  enabled: true
  paths:
- /var/log/nginx/blog_access.log
  json.keys_under_root: true
  json.overwrite_keys: true
  tags: ["blog"]
- type: log
  enabled: true
  paths:
- /var/log/nginx/error.log
  tags: ["error"]
output.elasticsearch:
  hosts: ["192.168.81.210:9200"]
  indices:
- index: "nginx-www-access-%{+yyyy.MM.dd}"
  when.contains:
tags: "www"
- index: "nginx-bbs-access-%{+yyyy.MM.dd}"
  when.contains:
tags: "bbs"
- index: "nginx-blog-access-%{+yyyy.MM.dd}"
  when.contains:
tags: "blog"
- index: "nginx-error-%{+yyyy.MM.dd}"
  when.contains:
tags: "error"
systemctl restart filebeat

2.查看es是否产生error索引

已经生成

9acf9c904b83638fbc0118b77a90a6d0_2022082208595907.png

3.在kibana上关联es索引

点击Managerment---索引模式---创建索引

ca9044a9e5cbdf9d47a2e77537dbce81_2022082208595908.png

创建成功

12a875f368ae9853a44eb173bb96dde0_2022082208595909.png

4.在kibana上统计错误日志

点击Discovery---选择索引即可查看,根据自己的需求进行统计即可

f6b4b9bcae962317308cf2f5dcbb3c74_20220822085959010.png

filebeatnginx