数据流固定窗口在一小时之内

时间:2017-05-30 16:12:01

标签: google-cloud-dataflow

有没有办法可以将我的Dataflow流媒体作业的窗口设置为每小时开始和结束?我目前正在使用1小时固定窗口,但它们似乎在作业开始时启动,并从那里开始增加1小时。谢谢。

1 个答案:

答案 0 :(得分:1)

固定窗口表示特定长度(持续时间)的窗口。从每小时开始的Windows可能具有可变长度,具体取决于小时(例如,闰秒等)。

日历Windows提供日历日,月等窗口。

对于您的用例,您可以编写自己的WindowFn,根据时间戳将元素分配给从小时开始并延伸到小时结束的窗口。

这样的WindowFn可能对Apache Beam SDK有用。考虑提交问题并为实施做出贡献。

相关问题