Hadoop中的VIRTUAL_MEMORY_BYTES任务计数器是什么意思?

时间:2018-11-23 18:43:09

标签: hadoop mapreduce hortonworks-data-platform apache-tez

以下《权威指南》的摘录提供了高级详细信息,如下所示,但

  1. 此任务计数器中虚拟内存到底指的是什么?
  2. 如何解释?它与PHYSICAL_MEMORY_BYTES有什么关系?

enter image description here

以下是其中一个作业的示例摘录。物理约为214 GB。虚拟磁盘约为611 GB。

enter image description here

1 个答案:

答案 0 :(得分:1)

1。此任务计数器中虚拟内存到底指的是什么?

 Virtual Memory here is used to prevent Out of Memory errors of a task,if data size doesn't fits in RAM(physical mem).
  in RAM.So a portion of memory of size what didn't fit in RAM will be used as Virtual Memory.

因此,建议在设置hadoop集群时,将其值设为vm.swappiness =1,以获得更好的性能。在linux系统上,vm.swappiness默认设置为60。 值越高,内存页的交换性就越强。

https://community.hortonworks.com/articles/33522/swappiness-setting-recommendation.html

2。怎么解释呢?它与PHYSICAL_MEMORY_BYTES有什么关系?

swapping of memory pages from physical memory to virtual memory on disk when not enough phy mem

这是PHYSICAL_MEMORY_BYTES和VIRTUAL_MEMORY_BYTES之间的关系。

相关问题