Question

我们最近在其中一个测试服务器上设置了AWS日志代理。我们的日志文件通常包含多行事件。例如，我们的日志事件之一是：

[10-Jun-2016 07:30:16 UTC] SQS Post Response: Array
(
    [Status] => 200
    [ResponseBody] => <?xml version="1.0"?><SendMessageResponse xmlns="http://queue.amazonaws.com/doc/2009-02-01/"><SendMessageResult><MessageId>053c7sdf5-1e23-wa9d-99d8-2a0cf9eewe7a</MessageId><MD5OfMessageBody>8e542d2c2a1325a85eeb9sdfwersd58f</MD5OfMessageBody></SendMessageResult><ResponseMetadata><RequestId>4esdfr30-c39b-526b-bds2-14e4gju18af</RequestId></ResponseMetadata></SendMessageResponse>
)

日志代理参考文档说要使用＆＃39; multi_line_start_pattern＆＃39;此类日志的选项。我们的AWS Log代理配置如下：

[httpd_info.log]
file = /var/log/httpd/info.log*
log_stream_name = info.log
initial_position = start_of_file
log_group_name = test.server.name
multi_line_start_pattern = '(\[)+\d{2}-[a-zA-Z]{3}+-\d{4}'

但是，日志代理报告会破坏上述和类似事件。向CloudWatch Logs报告的方式如下：

活动1：

[10-Jun-2016 11:21:26 UTC] SQS Post Response: Array

活动2：

( [Status] => 200 [ResponseBody] => <?xml version="1.0"?><SendMessageResponse xmlns="http://queue.amazonaws.com/doc/2009-02-01/"><SendMessageResult><MessageId>053c7sdf5-1e23-wa9d-99d8-2a0cf9eewe7a</MessageId><MD5OfMessageBody>8e542d2c2a1325a85eeb9sdfwersd58f</MD5OfMessageBody></SendMessageResult><ResponseMetadata><RequestId>4esdfr30-c39b-526b-bds2-14e4gju18af</RequestId></ResponseMetadata></SendMessageResponse>

活动3：

尽管它只是一个事件。有什么线索在这里发生？

Answer 1

我认为你需要添加的内容是你的awslogs.conf

datetime_format = %d-%b-%Y %H:%M:%S UTC
time_zone = UTC
multi_line_start_pattern = {datetime_format}

http://docs.aws.amazon.com/AmazonCloudWatch/latest/logs/AgentReference.html

multi_line_start_pattern

指定用于标识日志消息开始的模式。日志消息由与模式匹配的行以及与模式不匹配的任何后续行组成。有效值为正则表达式或{datetime_format}。使用{datetime_format}时，应指定datetime_format选项。默认值为'^ [^ \ s]＆＃39;所以任何以非空白字符开头的行都会关闭上一条日志消息并启动一条新的日志消息。

如果该日期时间格式不起作用，则需要更新正则表达式以实际匹配您的特定日期时间。我不认为您上面列出的那个实际上适用于您给定的格式。

你可以试试这个例子：

[\ d {2} - [\ W] {3} - \ d {4} \ S {1} \ d {2}：\ d {2}：\ d {2} \ S {1} \ W +]

匹配

[2016年6月10日11:21:26 UTC]

见这里：http://www.regexpal.com/?fam=96811

完成后，重新启动服务并检查其是否正确解析。

$ sudo service awslogs restart

AWS日志代理设置

1 个答案: