agent 页面管理 -凯发k8国际|首页

j

数据接收

日志采集agent

操作入口

1.点击 设置->日志上传->通用上传 进入agent管理页面

tag

通过这个页面,可以查看目前接入的heka信息(ip,端口,最后心跳上报时间,状态,操作系统),以及进行批量上传配置文件操作。

2.选择一个特定heka ip 点击,进入agent配置页面

tag

通过这个页面,可以查看/修改/删除该heka目前的部分配置:

3.点击agent配置页面的“添加”按钮,进入添加数据页面

tag

在这个页面,用户可以向导式的添加 文件和目录/syslog/脚本/性能数据/eventlog 这五种数据源,其中eventlog只在windows heka上可以配置。

文件和目录

1.点击添加数据页面的文件和目录标签,进入添加文件和目录数据源流程

tag

2.首先要选择文件或目录,点击浏览,会弹出heka所在服务器的目录树,供选择具体的文件或目录

tag

3.如果选中的是某个目录,那么需要配置白名单(需要监听目录下的哪些日志文件);如果选中的是某个文件,则无需选择白名单,选中的文件会自动加入白名单

白名单需要填入一串正则表达式,满足正则的日志文件将被监听采集

4.如果要从白名单中过滤掉某些文件,可以用正则表达式配置黑名单,黑名单中的文件不会被采集

5.最后修改时间是指监听文件的最后修改时间,默认30天,即超过30天的日志文件不回被采集。

注:heka监听日志文件后将持有文件句柄,直到最后修改时间超过配置的值。

6.配置好选择来源页面后,点击下一步,进入预览文件页面

tag

该页面会将所有匹配上监听规则的文件罗列出来,用户可以选择其中一个文件,用作后续预览之用。

7.选中要预览的文件后,点击下一步,进入预览分行页面

tag

该页面将展示若干行的日志,默认采用\n分行,用户可以选择配置正则表达式,进行多行合并的配置。

此外,该页面也可以配置该日志源对应的编码,appname和tag

8.点击正则表达式,配置个性化的分行正则规则

tag

如上图,我们以\n(\d)作为分行规则,即行首为数字的作为一行处理,点击go,右边页面会显示分行效果

9.分行规则确定无误后,点击下一步,进入最后检查页面

tag

10.检查各个配置项无误后,点击下一步,完成该数据源的添加配置操作

tag

syslog

1.点击添加数据页面的syslog标签,进入添加syslog数据源流程

tag

2.首先需要配置监听的ip和端口和协议信息,通常我们会用监听udp的514,用来接收syslog

tag

3.配置好监听端口信息后,点击下一步,配置ip映射

tag

所谓ip映射,是指为不同ip发来的syslog标注不同的appname,tag和编码 ip支持192.168.1.的通配符配法,但必须单独占据某一段,而不能是192.1*8.1.1 靠前的映射优先被匹配

4.配置好ip映射后,点击下一步,进入最后检查页面

tag

5.检查无误后,点击下一步,完成syslog数据源的添加

脚本

1.点击添加数据页面的脚本标签,进入添加脚本数据源流程,所谓脚本数据源,即将脚本的输出作为数据源采集

tag

2.在选择来源页面,可以配置脚本文件路径,以及参数还有执行时间间隔

tag

参数以空格分开 时间间隔单位为秒,即上图为每60秒,执行一次/bin/ls -l 3.配置好脚本文件,参数,间隔信息后,点击下一步,进入输入设置

tag

该页面上配置该脚本输出的appname,tag和编码

4.点击下一步,进入最后检查页面

tag

5.检查无误后,点击下一步,完成脚本数据源的添加

性能数据

性能数据目前默认每60秒采集一次,主要采集以下数据:

cpu使用率 内存使用率 磁盘使用率 网络出入流量 网络出入包量 丢包 错包 采集结果以json格式上报:

{"cpu_usage":0.000000, "mem_usage":82.605124, "swap-usage":25.952148, "disk0_usage":81.160872, "disk0_path":"/", "disk1_usage":100.000000, "disk1_path":"/dev", "disk2_usage":37.163516, "disk2_path":"/volumes/transcend", "bytes_sent":2503314611, "bytes_recv":16669447644, "packets_sent":13776252, "packets_recv":15761014, "errin":410462042, "errout":451854669, "dropin":0, "dropout":206}

1.点击添加数据页面的性能数据标签,进入添加性能数据数据源流程

tag

2.输入设置页面,主要用来配置appname和tag

tag

3.配置好后,点下一步,进入最后检查

tag

4.检查无误后,点击下一步,完成性能数据的采集

eventlog

1.点击添加数据页面的windows事件日志标签,进入添加eventlog数据源流程

tag

2.在选择来源页面,可以通过点击,选择要监听的事件类型,可以多选

tag

3.选择完毕后,点击下一步,进入输入设置页面

该页面用语设置该eventlog对应的appname和tag

4.配置完毕后,点击下一步,进入最后检查阶段

tag

5.检查无误后,点击下一步,完成windows事件日志数据源的添加

限速和压缩

1.在agent配置页面的最下方,点击输入配置编辑按钮,进入限速和压缩配置页面

tag

2.勾选是否压缩进行压缩配置

3.输入限速值,配置发送速率的限制

tag

4.点击确认完成压缩和限速配置