Hadoop上随机I / O的性能

时间:2019-07-12 16:07:22

标签: hadoop hdfs benchmarking

有人对Hadoop上的随机读取性能有想法吗?我使用Hadoop(虽然没有将HDFS作为文件系统)对TestDFSIO进行随机读取,但性能却很差。请注意,只有我将TestDFSIO设置为32 KB的小数据块才是这种情况。

这是我为此运行的命令:

 hadoop jar $HADOOP_HOME/share/hadoop/mapreduce/hadoop-mapreduce-client-jobclient-3.2.0-tests.jar TestDFSIO -D test.build.data=/tmp/hadoop_fuse/benchmarks/TestDFSIO -read -random -nrFiles 200 -size 10GB -buffersize 32000

对于您使用的集群规范,我将不胜感激。

0 个答案:

没有答案
相关问题