ELK Community Beats获取ELK上的AWS日志

Question

我在Ubuntu 16.xx（AWS EC2实例）上安装了ELK服务器。 1-我需要监视我的AWS服务（SNS，SQS，SES，Lambda，Ec2，S3 ELB CloudWatch等）。 2-如何从AWS服务获取实时日志并将其发布到Kibana仪表板（是否有任何插件/节拍/集成api）。 有社区节拍可以帮助我将日志从AWS收集到ELK。

https://www.elastic.co/guide/en/beats/libbeat/current/community-beats.html

谢谢

Answer 1

https://www.elastic.co/guide/en/logstash/current/plugins-inputs-cloudwatch.html

您可能想使用Cloudwatch Logstash插件并对其进行配置，以将数据提取到您的Elasticsearch中，我相信这是最简单的方法。

Answer 2

您可以使用以下节拍来检索cloudwatch日志和指标。

cloudwatchmetricbeat -Amazon Web Services的CloudWatch指标的节拍。

cloudwatchlogsbeat -从Amazon Web Services的CloudWatch Logs中读取日志事件。

Answer 3

将AWS日志流传输到ELK集群的其他一些选项是：

1）首先将所有AWS日志推送到S3存储桶，然后使用Logstash的“ S3输入插件”将日志从S3流式传输到Logstash。

2）使用lambda函数将所有cloudwatch日志直接流式传输到您的ELK集群。请参阅：https://github.com/blueimp/aws-lambda/tree/master/cloudwatch-logs-to-elastic-cloud

Answer 4

Elastic Stack 6.5已于11月14日发布，一个名为Functionbeat的新功能使您可以轻松地将Cloudwatch日志流式传输到ES。