“ hdfs dfs -du”与“ hdfs dfs -count”,在预期相同结果上存在差异

时间:2020-01-17 14:44:23

标签: hadoop hdfs

为什么hdfs dfs -du -shdfs dfs -count -v(假设CONTENT_SIZE字段的字节相同)是(接近但)不同值?


示例

# at user1@borderNode1
hdfs dfs -count -v  "hdfs://XYZ/apps/hive/warehouse/p_xx_db.db"
#   DIR_COUNT   FILE_COUNT       CONTENT_SIZE PATHNAME
#        9087      1610048    141186781009632 hdfs://XYZ/apps/hive/warehouse/p_xx_db.db
hdfs dfs -du -s  "hdfs://XYZ/apps/hive/warehouse/p_xx_db.db"
#141186781010380  hdfs://XYZ/apps/hive/warehouse/p_xx_db.db

值141186781009632不是141186781010380。

141186781010380-141186781009632=748的区别在于块大小(示例中为134217728)...因此,也许一个是准确的,而另一个不是,但我在Hadoop上看不到这种文档。


PS:在指南中没有任何线索here

  • hdfs dfs -count:“计算目录下的字节数...输出列CONTENT_SIZE”。
  • dfs -du:“显示给定目录中包含的尺寸文件...”。

指南只说这两个都是目录下包含的字节数。

0 个答案:

没有答案
相关问题