如何从现有Web应用程序访问HDFS(Hadoop文件系统)

时间:2013-03-23 05:36:55

标签: java web hadoop hdfs bigdata

我已经在我的集群上安装了hadoop 1.0.4,1个主服务器和3个从服务器,现在我想通过我的Web应用程序访问我的HDFS文件系统,以存储和访问现有Web应用程序的数据。

由于我的Web应用程序目前使用MySQL作为数据库,我想用HDFS替换它。

那么可以使用什么,以便我能够通过现有的Web应用程序访问HDFS?

对于后端数据迁移目的,我使用sqoop和flume,但我希望实时应用程序与HDFS同步。我从网页上保存的内容应该直接转到HDFS,我想要的搜索应该直接来自HDFS。

请建议。

提前致谢。

1 个答案:

答案 0 :(得分:2)

就像用橙子替换苹果一样。

您不能用HDFS替换MySQL。 MySQL是一个数据库,而HDFS是一个像ext3 / ext4这样的文件系统。 HDFS以分布式方式运行,而ext3 / ext4则不会。

HDFS提供高延迟和高吞吐量,而MySQL数据库提供低延迟和低吞吐量。考虑用NoSQL DB(Cassandra,HBase等)替换RDBMS(MySQL,Oracle等)。

有大量的NoSQL数据库,根据需求分析,必须选择合适的数据库。