传递从S3中读取的有序数据(FIFO)-Python

时间:2020-08-04 06:54:32

标签: python amazon-s3 apache-flink amazon-kinesis fifo

我正在按时间戳-2020 / 07/11 / HH / MM / SS / file1.json从存储在文件夹中的S3中读取数据。我可以读取文件并将其发送到Kinesis,但我需要按照Timestamp(FIFO-Queue ??)的顺序将其发送,并以33K记录/秒或200万/分钟的计数速率进行处理。当前代码在Python中,但生成的数据是无序的。关于如何实现这一点的任何想法?计量速率指示使用并行性/线程来控制生成的速率。我是否需要获取一定数量的文件夹(使用线程)来一次从S3中提取数据,然后将其发送到FIFO队列,然后让使用者从Q中读取并发送到Kinesis?

TIA,

0 个答案:

没有答案
相关问题