是否可以使用sqoop或flume将数据从webserver导入MYSQL？

Question

我需要将数据从webserver导入MYSQL数据库。我想知道sqoop或flume是否可行！我读到如果源或接收器都在HDFS中，则可以导入和导出数据，但我想知道是否有可能将数据导入MYSQL，因为源和接收器都不是hdfs？任何人都可以指导我...提前致谢

Answer 1

Sqoop专门设计用于从Hadoop加载数据，因此它无助于在Web服务器和MySQL之间移动数据（使用HDFS作为中介很可能是一个糟糕的主意）。所以我认为这不是一个可行的选择。

Flume应该能够完全插入你的网络服务器（用于读取日志，我假设），但是我知道（apparent confirmation）目前没有本地MySQL接收器。写一个应该相当容易;存在一个HBase接收器，它与JDBC接收器需要做的事情非常类似，也许你可以根据自己的需要调整它。

以下是Flume指南，其中列出了可用的接收器和来源：http://flume.apache.org/FlumeUserGuide.html。 Web服务器用例的最合适的源可能是假脱机目录源。该指南还包含一个简短的教程，指导您完成部署和配置Flume所需的所有步骤。如果你从这个简单的例子开始，你应该能够逐步建立一个有效的自定义配置，而不会有太多的麻烦。