Question

我在hadoop中寻找du max-depth选项，类似于linux中的du --max-depth=1命令。

例如：

ash@dev:~/usr $ du -h --max-depth=1
4.0K    ./Foredettinghelgen
44K     ./IssueTrackerBlogInterface
1.9M    ./IssueTrackerProduct
4.8M    ./pyexcelerator
52K     ./levenstein
532M    .

我知道$hdfs dfs -du -h -s选项，但是想知道是否有最大深度＆＃39;

的选项。

Answer 1

That flag does not exist

你必须自己解析输出并总结字节。

如果您想要的最大深度为1，那么您可以dfs du -s -h /path/*为/path下的所有文件夹运行命令

Twitter HDFS Du可能有一些您可以使用的代码

Answer 2

基于cricket_007的答案，您可以链接glob以生成与所需内容类似的内容，但是它将文件视为glob的一部分，因此在您使用的情况下会有所不同混合了目录和文件。它也不会启动.dotfiles，但这在HDFS上通常不是问题。

hdfs dfs -du -s -h /path/*/*/*/*         # sorta equivalent to du -sh --max-depth=4 /path/

hadoop中的磁盘使用率（du）max-depth等效选项

2 个答案: