WSO2 BAM增量分析

时间:2013-12-18 09:04:21

标签: hive wso2 wso2bam

根据文档here,此功能是实验性的,但我想知道是否有人成功使用它。我已经有了一些数据,所以我正在尝试使用案例4 我尝试使用@Incremental注释运行更新配置单元查询但是没有任何内容进入我的RDB了 如果我删除它,一切正常,但我想利用这个功能,因为存储的数据量很大,而且查询执行速度很慢。
非常感谢任何建议或帮助。

2 个答案:

答案 0 :(得分:0)

这个功能被认为是实验性的,因为可能存在一些严重的错误。我们将在下一版本中发布具有此功能的更稳定版本的BAM。

答案 1 :(得分:0)

增量分析功能在部分分布式设置中运行良好,但在外部hadoop集群中没有经过全面测试,因此标记为“实验”。无论如何,如果你发现任何错误,你可以在jira报告。

要回答您的问题,您需要首先启用流的增量处理,然后需要添加增量注释。以下是详细步骤。

1)您需要在streams.properties中添加属性'streams.definitions.defn1.enableIncrementalIndex = true',如解释here文件所示,并创建一个工具箱,其中仅包含流定义工件[{3} }。

2)安装工具箱 - 这将使用增量分析注册工具箱中提到的流定义。在这一点上,输入数据将被逐步处理。

3)现在在查询中指出@Incremental注释。第一次迭代将考虑整个可用数据,因为您已在处理过程中启用增量分析,但从下一次迭代开始,它将只考虑新的数据束。

相关问题