Graylog之基本使用

金鞍玉勒寻芳客,未信我庐别有春。这篇文章主要讲述Graylog之基本使用相关的知识,希望能为你提供帮助。

 
 
  文档:??https://docs.graylog.org/en/3.0/??
 
Graylog Sidecar是一个轻量级配置管理系统,适用于不同的日志收集器,也称为后端。Graylog节点充当包含日志收集器配置的集中式集线器。在支持的消息生成设备/主机上,Sidecar可以作为服务(Windows主机)或守护程序(Linux主机)运行。进行在不同机器上进行日志的采集并发送到graylog server
在graylog3.0版本以前,称为Graylog Collector Sidecar,在3.0中改为了Graylog Sidecar,在官方文档中有详细安装指导:官方文档入口。这里也参考进行安装。版本对照表如下,首先去github上下载相应的rpm安装包。官方GITHUB下载地址
【Graylog之基本使用】Sidecar version Graylog server version
 
 
 
使用Graylog对日志进行采集操作 
1.添加Beats类型的Input
1)在System/Input中选择Input类型,Beats
 
 
 
  2)设置Global, 绑定的地址是0.0.0.0  开放的端口是5044  !!! 注意一定要对外开启这个端口,否则会导致无法将日志上传到Graylog服务上

 
 

 

在弹框中编辑这个 Input 的配置:

Title: Input 的标题。这个可以随便写,稍后可以改。

Bind Address: 是否固定监听 IP。比如写成本机内网 IP,或者一个域名,默认 0.0.0.0 代表不固定。如果你网络环境复杂——比如同时从内网公网收集日志的情况下,建议不要 bind,稍后可以改。

Port: 监听哪个端口。也就是 Inputs 开放哪个端口用于接收 Sidecar 的日志推送,稍后可以改。

Recive Buffer Size: 最大允许的接收器缓存大小。相当于一次超过这个数值的日志包推过来会失效,通常来说基本摸不到这个极限,单位 Byte,默认1048576,也就是 1MB,稍后可以改。

No. of worker threads: 这个用于指定有多少个线程在处理日志接收。超大并发量的可以酌情调整,稍后可以改。

[ ] Do not add Beats type as prefix: 这个很重要,一定要打钩,稍后会讲到。

点击 Save 就可以保存 Input 了。以后我们很少会再调到这个配置。

你可以建立多个 Input,不同之间的区别由端口控制。

 
 
 
2.创建graylog-sidecar的token

 
  复制token

 
 
 
3.在LInux主机上安装sidecar客户端和filebeat
  a)两种安装方式:
    方法一:使用Graylog sidecar存储库配置后yum进行安装
rpm -Uvh https://packages.graylog2.org/repo/packages/graylog-sidecar-repository-1-2.noarch.rpm
yum install graylog-sidecar

    方法二:cpi -ivh 方式本地安装    https://github.com/Graylog2/collector-sidecar/releases

 
 
wget https://github.com/Graylog2/collector-sidecar/releases/download/1.0.2/graylog-sidecar-1.0.2-1.x86_64.rpm
rpm -i graylog-sidecar-1.0.2-1.x86_64.rpm

  修改配置文件:
vi /etc/graylog/sidecar/sidecar.yml


1)#server_url: "http://127.0.0.1:9000/api/"
修改为http://192.168.31.80:9000/api/
2)server_api_token: "bavcp8u7sanaottr2lllg2ebogsn6brfgnifa76vm3ec8n64k50"
3)#node_name: ""改为node_name: "192.168.31.194_CentOS7"
4)取消#update_interval: 10的注释update_interval: 10
5)取消#send_status: true 的注释send_status: true

加入启动服务并启动:
graylog-sidecar -service install
systemctl start graylog-sidecar


 
  这时候在sidecar总览界面可以看到已经在线
 
  b)filebeat安装
wget https://artifacts.elastic.co/downloads/beats/filebeat/filebeat-6.6.0-x86_64.rpm

rpm -i filebeat-6.6.0-x86_64.rpm

 
4.配置采集规则
1)在Sidecar Overview界面点击Configuration

 
 
2)点击Create Configuration创建配置

 
 
Name自定义为CentOS7_collector_cfg

Configuration color挑选一个颜色

Collector选择为filebeat on Linux类型

Configuration配置文件修改


例如 paths: - /opt/nginx/*.log 也就是采集/opt/nginx/目录下.log结尾的日志

output.logstash: hosts: ["192.168.31.80:5044"] 发给192.168.31.80的5044端口,也就是之前创建的beats 5044接收端口


 
  3)配置完成之后, 点击create保存配置

 
 
5.下发配置文件
先回到Sidecar Overview界面, 点击Administration管理按钮, 进行配置下发
1)选择采集器,勾选filebeat
2)点击configure, 选择之前创建的配置文件, 进行配置应用下发

 
 

 
 
6.验证日志采集是否生效
在Sidecars Overview  点击show messages 查询对应日志 如果存在则证明成功

 
 

 
 
 
 
参考:
?
  • ??https://cloud.tencent.com/developer/article/1666521??
  • ??https://blog.51cto.com/u_11555417/2353375??
?
?


 


    推荐阅读