AWS DataPipeline调度中最小15分钟间隔的逻辑是什么?

时间:2016-07-29 12:09:54

标签: amazon-web-services real-time amazon-rds data-integration amazon-data-pipeline

我最近被要求建立一种机制,以近乎实时的方式从我们的RDS MySQL获取数据,即在5秒内。到5分钟。在阅读了Lambda,Flydata和数据管道后,我选择了AWS 数据管道,因为在涉及近实时数据摄取时,许多论坛都提到了它的名称。

AWS Data Pipeline让我们安排作业,因此我选择了计划选项并将其设置为每2分钟运行一次。

enter image description here

这是丑陋的部分。 它要求我设置一个间隔时间段!! ,这应该大于15分钟。我的意思是为什么会这样?它不应该接近实时吗? 现在,当我运行我的管道时它就像这样工作。 (设定间隔15分钟后)enter image description here

这应该是什么时候接近实时?我的意思是AWS认识到接近实时意味着在几秒钟内,或者至少一些分钟,但15-17分钟对我来说是一个巨大的障碍。有人能告诉我如何解决这个问题。我考虑过调度多个管道并设置前置条件,但我不确定它是否会起作用。  请帮忙......

1 个答案:

答案 0 :(得分:0)

我建议使用Amazon Kinesis来处理实时数据。

https://aws.amazon.com/kinesis/firehose/

相关问题