Apache Sqoop和Flume可以互换使用吗？

Question

我是Big数据的新手。从What's the difference between Flume and Sqoop?的一些答案中，Flume和Sqoop都可以从源中提取数据并推送到Hadoop。任何人都可以指定exaclty使用水槽和sqoop在哪里？两者都可以用于相同的任务吗？

Answer 1

Flume和Sqoop都适用于不同类型的数据源。

Sqoop适用于任何支持JDBC连接的RDBMS系统。另一方面，Flume适用于流数据源，例如在您的环境中不断生成的日志数据。

具体来说，

• Sqoop可用于向/从RDBMS系统导入/导出数据，如Oracle，MS SQL Server，MySQL，PostgreSQL，Netezza，Teradata和其他一些支持JDBC连接的系统。
• Flume可用于从下面的来源摄取高吞吐量数据，并插入下面的目的地（汇点）。
  • 常用的水槽来源：
    • 假脱机目录 - 正在创建大量文件的目录，主要用于收集和聚合日志数据
    • JMS - 从基于JMS的系统收集指标
    • 和lots more
  • 常用的水槽：
    • HDFS
    • HBase的
    • Solr的
    • ElasticSearch
    • 和lots more

不，两个工具都不能用于完成相同的任务，例如水槽不能用于数据库，而sqoop不能用于流数据源或平面文件。

如果你有兴趣，水槽也有一个替代品，它可以做同样的事情，叫做chukwa。