我有一个数据管道卡住并进入待处理模式,每次“等待依赖”。
这里我使用的是“Hive Activity”,它需要输入和输出。就我而言,我的所有数据都在hadoop基础设施中,因此我真的不需要S3输入和S3输出。但是,由于datapipeline错误,无法删除它们。此外,尽管存在S3节点“存在”的前提条件,但此时管道仍然卡住了。每次我运行这个管道时,我都必须手动“标记”S3node,之后工作正常。
{
Name:
@S3node1_2014-08-01T13:59:50
[View instance fields]
Description:
Status: WAITING_ON_DEPENDENCIES
Waiting on:
@RunExpertCategories_2014-08-01T13:59:50
}
任何见解都会有所帮助。 AWS Datapipeline文档未详细介绍。