并行-输出到其他目录

时间:2018-06-26 14:15:09

标签: parallel-processing gnu-parallel

尊敬的Stackoverflow社区,

我正在尝试以这种方式使用并行:

find /root/Output/ -type f -name *.out | parallel --pipe --round-robin -j 9 programm.py --worker_threads 72 -o output_dir

我想将每个作业的输出保存到单独的目录中。 以这种方式并行运行,programm.py将来自不同作业的结果写入同一目录/文件中,从而导致我需要进行下游分析的特定文件中的某些行出现问题。

我该如何实现? 预先感谢您的帮助

1 个答案:

答案 0 :(得分:1)

根据职位编号{#}为每个职位创建一个目录,也许是:

find ... | parallel --pipe --round-robin -j 9 'mkdir -p {#} ; cd {#} ; programm.py --worker_threads 72'
相关问题