在Flume中设置HDFS接收器需要哪些Hadoop jar依赖项?

时间:2018-01-22 21:54:57

标签: java maven hadoop flume flume-ng

我使用了来自mightfine / flume的Flume的Docker图像。

我正在尝试配置HDFS接收器,并且我收到有关依赖项的错误。谷歌搜索结果显示我需要包含Hadoop库,但是当Hadoop 1.0有一个我可以包含在我的Docker镜像中的 hadoop-core-1.0.jar 时,许多结果都是旧的。

我试图直接从 / share / hadoop / common / 中的Hadoop 2.9 bin下载包含罐子。但是在我的FLUME_CLASSPATH中包含这些罐子是行不通的。

FLUME_CLASSPATH=/var/tmp/hadoop/common/

我还尝试了一个级别,只是做了/ hadoop /目录。但它之前的错误完全相同:

2018-01-22 21:49:21,643 (conf-file-poller-0) [ERROR 
- org.apache.flume.node.Poll
ingPropertiesFileConfigurationProvider$FileWatcherRunnable.run(PollingProperties
FileConfigurationProvider.java:146)] Failed to start agent because dependencies
were not found in classpath. Error follows.
java.lanat org.apache.flume.sink.hdfs.HDFSEventSink.configure(HDFSEventSink.java
:235)
        at org.apache.flume.node.AbstractConfigurationProvider.loadSinks(Abstrac
tConfiguat org.apache.flume.node.AbstractConfigurationProvider.getConfiguration(
Abstractat org.apache.flume.node.PollingPropertiesFileConfigurationProvider$File
WatcherRat java.util.concurrent.Executors$RunnableAdapter.call(Executors.java:51
1)      at java.util.concurrent.FutureTask.runAndReset(FutureTask.java:308)
        at java.util.concurrent.ScheduledThreadPoolExecutor$ScheduledFutureTask.
run(ScheduledThreadPoolExecutor.java:294)va:180)
        at java.util.concurrent.ThreadPoolExecutor$Worker.run(ThreadPoolExecutor
.java:624)
        at java.net.URLClassLoader.findClass(URLClassLoader.java:381)
Caused bat java.lang.ClassLoader.loadClass(ClassLoader.java:424)o.SequenceFile$C
ompressiat sun.misc.Launcher$AppClassLoader.loadClass(Launcher.java:338)
        ... 12 moreg.ClassLoader.loadClass(ClassLoader.java:357)

我的Docker镜像中需要哪些特定的jar依赖文件才能设置HDFS接收器?

0 个答案:

没有答案