使用Flume获取推文时发出问题

时间:2017-07-07 14:16:53

标签: hadoop flume

我可以使用flume来获取推文,但是,流式传输的语言并不是我想要的。以下是flume.conf文件

flume.conf

我收到的推文如下所示:

tweets

任何人都可以提出我需要做出的改变吗?

1 个答案:

答案 0 :(得分:0)

Apache Flume中的TwitterSource目前不支持语言过滤。这个先前的问题描述了一个过程(公认的很复杂),您可以通过该过程在语言支持下部署自己的修补版本的代码:

Flume - TwitterSource language filter

我认为Apache Flume支持语言过滤是一项有价值的改进。我鼓励您在FLUME项目的Apache JIRA中提交请求。

如果您有兴趣,也请考虑提供补丁。我认为只需要在configure方法中提取配置中的“语言”设置,将其保存在成员变量中,然后在Twitter4J API中传递它。