手动配置rsyslog -凯发vip

手动配置rsyslog

如果您无法通过脚本生成配置文件，这份指导将帮助您通过简单的复制、粘贴完成配置。

注意：以下说明针对部署版用户，如果您是云端用户，请参考产品“设置-日志上传”页面的说明进行配置。

假定您已拥有root或sudo权限，是在通用的linux平台使用5.8.0或更高版本的rsyslog，rsyslog能接收本地系统日志，并通过5140端口与外界连接。如果您有不同的需求，请参阅高级选项。

基础

1. 配置系统环境

粘贴以下脚本并运行，将保证 /var/spool/rsyslog 目录已存在，如果是ubuntu系统，还会对目录进行权限设置。

sudo mkdir -v /var/spool/rsyslog
if [ "$(grep ubuntu /etc/issue)" != "" ]; then
  sudo chown -r syslog:adm /var/spool/rsyslog
fi

2. 更新rsyslog配置文件

打开rsyslog配置文件，它通常在 /etc/rsyslog.d 目录下

sudo vim /etc/rsyslog.d/rizhiyi.conf

将下列内容粘贴在这个配置文件中

$modload imfile
$workdirectory /var/spool/rsyslog
$inputfilename filepath
$inputfiletag appname
$inputfilestatefile stat_appname
$inputfileseverity info
$inputfilepersiststateinterval 20000
$repeatedmsgreduction off
$inputrunfilemonitor
$inputfilepollinterval 3
$template rizhiyiformat_appname,"<%pri%>%protocol-version% %timestamp:::date-rfc3339% %hostname% %app-name% %procid% %msgid% [[email protected] tag=\"tag\"] %msg%\n"
if $programname == 'appname' then @@example.domain.com;rizhiyiformat_appname
if $programname == 'appname' then ~

替换

token: 使用“数据设置–用户标识”页面中的用户标识符替换它。示例：ba1f2511fc30423bdbb183fe33f3dd0f
filepath: 需要上传的日志文件的绝对路径，必须包含日志文件名。示例：/var/log/nginx/access.log
appname: 用于标识上传的唯一应用来源，可用来定义日志分组，这将帮助您有效划分日志，缩小搜索范围。appname设置正确与否直接影响到后台对日志字段的提取。appname由英文、数字及下划线组成，不可以与/etc/rsyslog.d下已有的配置重复（通过rsyslog上传时也不能包含空格），否则会导致新配置的token和tag不生效。如果您是vip用户，日志易为您定制了日志解析规则，请填写日志易提供的针对该日志的appname，以使定制的日志解析规则生效。示例：nginx_access
tag: 标签，标识日志的扩展信息，可定义多个标识，这里替换为您自行定义的标签，可用来定义日志分组，这将帮助您有效划分日志，缩小搜索范围。示例： rizhiyi_search
example.domain.com：用于指定接收日志的服务器域名或者主机名。日志易saas服务默认地址是 log.u.rizhiyi.com:5140；其他公有云或部署版用户可以通过产品设置页面查看自己的专属地址。

注意

在 /etc/rsyslog.d/ 下的rsyslog配置文件中：
- $inputfiletag定义的appname必须唯一，同一台主机上不同的应用应当使用不同的appname，否则会导致新定义的token和tag不生效；
- $template定义的模板名必须唯一，否则会导致新定义的token和tag不生效；
- $inputfilestatefile定义的statefile必须唯一，它被rsyslog用于记录文件上传进度，否则会导致混乱；
@@log.rizhiyi.com:5140 用于指定接收日志的服务器域名或者主机名。默认是 log.rizhiyi.com:5140
ubuntu系统因为rsyslog是以syslog用户运行，所以会存在因为无读权限而无法采集日志的问题。为了检查syslog用户是否有权限读取日志文件可以用 su -s /bin/sh -c "head -n 1 /path/to/your/logfile" syslog 命令验证

3. 重启rsyslog

#如果是centos 7及以上版本，重启此服务命令为：
$sudo systemctl restart rsyslog.service
#否则为
$sudo service rsyslog restart

4. 验证

例如，配置文件中的tag字段已修改为”accesslog”，可使用”tag:accesslog”搜索过去一小时的事件，检查日志易是否成功接收并正确识别日志，建立索引可能需要几十秒钟时间，需要等待几十秒钟。如果搜索不到结果，请参阅下面的[疑难解答]（#troubleshooting）部分。

监听linux系统日志（syslog）的配置

如果您希望将linux系统日志（syslog）上传到日志易中，您需要做以下简单配置：

在/etc/rsyslog.d目录下新建配置一个文件rizhiyi.conf；

添加以下内容：

 $template rizhiyiformat,"<%pri%>%protocol-version% %timestamp:::date-rfc3339% %hostname% %app-name% %procid% %msgid% [[email protected] tag=\"tag\"] %msg%\n"
 *.*  @@log.rizhiyi.com:5140;rizhiyiformat

用户需要修改的内容包括：
- token: 使用从”数据设置–用户标识”页面中您的用户标识符替换它。示例：ba1f2511fc30423bdbb183fe33f3dd0f
- tag: 标签，标识日志的扩展信息，可定义多个标识，这里替换为您自行定义的标签，可用来定义日志分组，这将帮助您有效划分日志，缩小搜索范围。示例： syslog
修改后内容示例：
```
 $template rizhiyiformat,"<%pri%>%protocol-version% %timestamp:::date-rfc3339% %hostname% %app-name% %procid% %msgid% [[email protected] tag=\"syslog\"] %msg%\n"
 *.*  @@log.rizhiyi.com:5140;rizhiyiformat
```
重启rsyslog服务 $ sudo service rsyslog restart

高级选项

需要用同一个appname监听多个日志文件，请复制并粘贴以下内容到行$template之前，并做自定义修改：

  $inputfilename filepath
  $inputfiletag appname
  $inputfilestatefile stat_appname
  $inputfileseverity info
  $inputfilepersiststateinterval 20000
  $repeatedmsgreduction off
  $inputrunfilemonitor

切换到udp: 速度更快，但是丢失事件的风险也随之增加
改变每条事件的最大值上限: 提升至每条64k

疑难解答

如果您在验证步骤看不到数据，请参照rsyslog疑难解答

手动配置rsyslog -凯发vip

数据接收