确定pcollection是否为空

时间:2017-08-27 11:42:02

标签: google-cloud-dataflow apache-beam

如何在写入apache beam(2.1.0)中的文本文件之前检查pcollection是否为空?

我在这里尝试做的是将文件分解为指定数字的pcollections,作为通过ValueProvider的管道参数给出。由于此ValueProvider在管道构建时不可用,因此我声明了一个不错的26号(字母总数,这是用户可以输入的最大值),以使其可用于.withOuputTags()。所以我得到26个元组标签,我必须在写入文本文件之前检索pcollections。所以在这里,只有少数用户输入的标签会被填充,其余的都是空的。因此,在应用TextIO.write()之前,想要忽略某些标记返回的空pcollections。

1 个答案:

答案 0 :(得分:0)

实际上,您似乎想要将一个集合写入多组文件,其中一些集合可能为空。正确的方法是使用DynamicDestinations API - 请参阅Beam {2.2}中可用的TextIO.write().to(DynamicDestinations),这应该会在接下来的几周内删除。同时,如果你想使用它,你可以自己在HEAD上建立一个Beam的快照。

相关问题