停滞的数据流作业

时间:2018-10-12 20:35:46

标签: google-cloud-dataflow dataflow

我的数据流工作有一个神秘的问题。我将其设置为每天运行一次。大多数情况下,它会在大约1小时内完成,但是有时它会运行许多小时/天,而此时我只是将其杀死。是什么导致这种巨大的差异?代码没有任何变化。我唯一的线索是工作的第一步,即从文本文件中读取约25万个输入ID。在工作永久运行的日子里,读取步骤很短,大约1000个id。由于某种原因,它们永远不会被读入。我不了解在幕后发生的事情以及数据流不足以了解可能发生的事情。我觉得它来自数据流本身,例如,软件中某处可能存在错误?任何人都有见识或想法吗? :face_with_monocle:

0 个答案:

没有答案