Hadoop输入拆分转储

Question

当某个特定任务失败时，我们是否可以获取运行此任务的输入拆分转储，以便我们可以在输入和远程调试的那一部分本地运行作业？

Answer 1

您可以在mapper的设置中写下有关输入拆分的信息。 FileInputFormat的示例：

    @Override
    protected void setup(Context context) throws IOException, InterruptedException {
        FileSplit inputSplit = (FileSplit) context.getInputSplit();
        System.out.println(inputSplit.toString());
    }