使用.exe作为映射器的一部分（Hadoop）

Question

我正在编写mapreduce作业来处理二进制日志文件。在获取相关信息之前，需要一个可执行文件来处理文件。这是java进程构建器最好的方法吗？

Answer 1

如果您需要运行EXE，可能会因为Linux是Hadoop唯一支持的平台而运气不好。我听说有人在Cygwin上尝试Hadoop，但尝试让这种配置工作可能是一场艰苦的战斗。

如果您仍想使用Hadoop，我建议使用以下方法之一：

• 使用Windows框将二进制日志文件转换为中间格式;然后你可以在Hadoop中处理它。
• 用Java重写转换逻辑
• 如果您的EXE prog是C＃/ .NET，您可以使用Mono在Linux上运行它，并使用Hadoop流调用外部程序。