Question

我想要从hdfs中提取一些字段。

目前我在做hadoop fs -text /path/to/20120903/*-* 2>/dev/null | awk -F '\t' '{ print $16 }' | sort | uniq > users-0903。

我怎样才能加快速度（需要为0904,0905做这个......这需要一些时间）？

我有一些Hadoop流媒体尝试，但它似乎不喜欢我给它的大部分脚本，所以我放弃了。你会如何使用流媒体来尝试这项任务？

Answer 1

使用Hadoop Streaming执行此操作的快速方法是：

hadoop jar hadoop-streaming.jar -input /path/to/2012093 -output /path/to/output-0903 -mapper "awk -F '\t' '{print \$16}'" -reducer 'uniq'

或写得更好：

hadoop jar hadoop-streaming.jar \
  -input /path/to/2012093 \
  -output /path/to/output-0903 \
  -mapper "awk -F '\t' '{print \$16}'"\
  -reducer 'uniq'

映射器将在制表符之间发出第16个字作为没有值的键。然后它将在随机/排序期间进行排序，对uniq的调用将获得每个键/值对，它们只是重复键。这些将由uniq减少到一个副本。

如何通过流式加速探索HDFS中的数据？

1 个答案: