用于mapreduce作业的StreamInputFormat

Question

我有一个应用程序连接到远程系统并使用sftp协议从它传输数据。我想使用mapreduce工作来做同样的事情。我需要一个从输入流中读取的输入格式。我一直在浏览HStreamInputFormat和StreamInputFormat的文档，但我的hadoop-2.0似乎并不支持这些类。我该怎么办？是否有使用输入格式从输入流中读取教程或示例的链接？

Answer 1

如果这些SteamInputFormats不支持您的需求，那么您最好根据自定义需求编写自己的InputFormat。请阅读this教程，了解如何编写自己的自定义InputFormat和RecordReader。