将非结构化数据复制到HDFS?

时间:2015-04-28 06:13:45

标签: hadoop

如何使用Hadoop中的Sqoop将非结构化数据直接从Web服务器复制到HDFS。 (不将数据复制到本地文件系统中)

2 个答案:

答案 0 :(得分:1)

From webserver to HDFS you need to use Flume or anyother appropriate tool. Sqoop is used to import/export from RDBMS.

答案 1 :(得分:0)

既然你已经说过要成为Web服务器的源和非结构化的数据,那么你应该寻找 Flume !!

  

Flume是一种分布式,可靠且可用的服务   有效地收集,聚合和移动大量日志   数据

http://flume.apache.org/

如果数据源是RDBMS并且数据是结构化的,那么Sqoop将符合该法案。

  

Sqoop旨在有效地在两者之间传输批量数据   Apache Hadoop和结构化数据存储,例如关系数据库。

http://sqoop.apache.org/