滑动窗口概念-概念理解

时间:2019-06-10 17:05:13

标签: spark-streaming sliding-window

我们可以声明窗口值小于滑动值吗?有效吗?请确认。

val windowStream1 = inputStream.window(Seconds(4))
val windowStream2 = inputStream.window(Seconds(4), Seconds(2))
val windowStream3 = inputStream.window(Seconds(10), Seconds(4))
val windowStream4 = inputStream.window(Seconds(10), Seconds(10)
val windowStream5 = inputStream.window(Seconds(2), Seconds(2))    // same as inputStream
val windowStream6 = inputStream.window(Seconds(11), Seconds(2))   // invalid
val windowStream7 = inputStream.window(Seconds(4), Seconds(1))    // invalid
val windowStream8 = inputStream.window(Seconds(10), Seconds(20)) - ? Question

windowStream1和windowStream2都将生成包含最近4秒钟数据的RDD。并且RDD将每2秒生成一次(如果未在windowStream1中指定幻灯片持续时间,则假定幻灯片持续时间为inputStream的批处理持续时间= 2秒)。请注意,这些数据窗口中的每一个都是重叠的。在时间10的窗口RDD将包含从6到10的数据(即从6到10的最后一点),在时间12的窗口RDD将包含从8到12的数据。

类似地,windowStream3将每4秒生成RDD,每个RDD包含最近10秒的数据。 windowStream4将生成不重叠的窗口,即每10秒RDD,包含最近10秒的数据。 windowStream5本质上与inputStream相同。

windowStream6和windowStream7无效,因为两个参数之一不是批处理间隔(即2秒)的倍数。这就是三者之间的联系。  现在问题在windowStream8,我们可以声明窗口值小于滑动值吗?有效吗?请确认。

0 个答案:

没有答案
相关问题