aws datapipeline:等待依赖项

时间:2014-08-01 17:03:54

标签: hadoop amazon-web-services amazon-s3 amazon-data-pipeline

我有一个数据管道卡住并进入待处理模式,每次“等待依赖”。

这里我使用的是“Hive Activity”,它需要输入和输出。就我而言,我的所有数据都在hadoop基础设施中,因此我真的不需要S3输入和S3输出。但是,由于datapipeline错误,无法删除它们。此外,尽管存在S3节点“存在”的前提条件,但此时管道仍然卡住了。每次我运行这个管道时,我都必须手动“标记”S3node,之后工作正常。

{
   Name:
   @S3node1_2014-08-01T13:59:50
   [View instance fields]
   Description:
   Status: WAITING_ON_DEPENDENCIES
   Waiting on:
   @RunExpertCategories_2014-08-01T13:59:50
}

任何见解都会有所帮助。 AWS Datapipeline文档未详细介绍。

1 个答案:

答案 0 :(得分:0)

如果在HiveActivity上设置"stage": "false",则不需要输入和输出节点。

相关问题