我的要求是从AWS收集VPC流日志。我创建了一个VPC流日志,并将其关联到云监视日志组“流日志组”。
我想从CloudWatch log订阅中通过AWS Kinesis firehose进行订阅,但是在订阅列表中找不到“ Kinesis Firehose”,“ Lambda”和“ ElasticSearch Service”。你能帮我这个忙吗?
我们不能使用AWS Kinesis firehose订阅CloudWatch日志。
最佳答案
Firehose arn是CloudWatch Logs的有效订阅目标,但是无法仅通过API或CloudFormation在控制台上设置。
我发现的大多数示例都使用控制台的LogGroup选项“流到AWS Lambda”来馈送转发到Amazon Kinesis Firehose的AWS Lambda,例如在How to Visualize and Refine Your Network’s Security by Adding Security Group IDs to Your VPC Flow Logs中。
Using CloudWatch Logs Subscription Filters chapter of the Amazon CloudWatch Logs User Guide的Firehose Example (Example 3)可能更适合您的用例。
本质上,路径是Amazon CloudWatch LogGroup SubscriptionFilter -> Amazon Kinesis Firehose Delivery Stream -> Amazon S3 Bucket and Prefix
有趣的事实:Amazon CloudWatch Logs数据在交付给Firehose时已经被GZIP处理。