最好是camus或gobblin

时间:2017-08-26 18:41:00

标签: hadoop apache-kafka hdfs camus

你能帮我设置camus或gobblin来存储来自Kafka的HDFS消息吗?一个工作的例子可能很棒。

Gobblin仍处于孵化阶段,而逐渐消失。那么哪一个更适合使用。

我下载了gobblin并运行gobblin-standalone.sh start但是我收到了错误

  

未设置环境变量GOBBLIN_JOB_CONFIG_DIR! 。

1 个答案:

答案 0 :(得分:1)

用于HDFS的Confluent Kafka接收器连接器是首选,因为它取代了Camus,支持最新版本的Apache Kafka,主动维护并且是开源的。

http://docs.confluent.io/current/connect/connect-hdfs/docs/index.html