早上好,
我没有成功在YARN上找到mapReduce示例(即MapReduce的第二个版本),总是呈现的是WordCount,它与第一个版本的MapReduce上提供的代码完全相同。 甚至“Hadoop:权威指南”也没有YARN中的代码!
您能否向我提供一个代码,向我展示在先前版本和最新版本中编写mapReduce代码的区别?
事实上,我试图在MR1上编写分支和绑定代码,但后来我发现由于BranchReduce,YARN可以使事情变得更容易。
感谢任何帮助, 提前致谢
答案 0 :(得分:0)
您可以使用Yarn(MRv2)编译为MRv1编写的程序,而无需修改任何单行的源代码。它完全兼容源代码。
这是纱线示例:http://wiki.apache.org/hadoop/WordCount
以下是Map Red 1示例:https://hadoop.apache.org/docs/r1.2.1/mapred_tutorial.html#Example%3A+WordCount+v1.0
API级别需要注意的一些明显差异:
- 新API使用接口上的抽象类
- mapreduce包是不同的