网格计算和HDFS(Hadoop分布式文件系统)有什么区别?

时间:2014-11-12 11:51:13

标签: hadoop hdfs grid-computing

有没有人可以解释HDFS和网格计算之间的主要区别?

3 个答案:

答案 0 :(得分:1)

Hadoop与其他分布式系统的区别

  • 向外扩展
  • 成熟技术
  • 低成本
  • 由大巨人使用

答案 1 :(得分:1)

我认为您必须在问题中用 Hadoop 替换 HDFS

Hadoop是一个框架,允许使用简单的编程模型跨商品计算机集群分布式处理大型数据集 - 基于YARN的Map Reduce框架(又一个资源谈判者)。

HDFS是一个文件系统,用于存储具有流数据访问模式的非常大的文件,在商用硬件上运行群集。

网格计算方法基于在一组计算机上分配工作,这些计算机访问由存储区域网络(SAN)托管的共享文件系统。这适用于主要是计算密集型的作业,但当节点需要访问更大的数据量时,它就成了一个问题。

HDFS只是一个文件系统。由于您要比较数据处理,因此必须将网格计算与Hadoop Map Reduce(YARN)进行比较,而不是HDFS。

Hadoop尝试将数据与计算节点共同定位,因此数据访问速度很快,因为它是本地的。此功能称为数据局部性,是Hadoop中数据处理的核心,也是其良好性能的原因。

您可以参考Hadoop,The Definitive指南(第4版)来更好地理解这些概念。

答案 2 :(得分:0)

Hadoop分布式文件系统(HDFS)是一种分布式文件系统,旨在在商用硬件上运行。它与现有的分布式文件系统有许多相似之处。但是,与其他分布式文件系统的差异很大。 HDFS具有高度容错能力,旨在部署在低成本硬件上。 HDFS提供对应用程序数据的高吞吐量访问,适用于具有大型数据集的应用程序。 HDFS放宽了一些POSIX要求,以实现对文件系统数据的流式访问。

,但....

网格计算是来自多个位置的计算机资源的集合,以实现共同的目标。网格可以被认为是具有涉及大量文件的非交互式工作负载的分布式系统。网格计算不同于传统的高性能计算系统,例如集群计算,因为网格计算机将每个节点设置为执行不同的任务/应用。网格计算机也往往比集群计算机更加异构和地理上分散(因此不是物理耦合)。虽然单个网格可以专用于特定应用,但通常网格用于各种目的。网格通常由通用网格中间件软件库构成。

我认为hdfs与网格计算无关。或者它可能在网格中的超级虚拟计算机中使用

相关问题