如何使用GNU并行更快地运行python程序?

时间:2018-01-29 05:05:53

标签: python gnu-parallel

我有一个可以使用多个线程执行的python程序,但是,当使用多个线程时,它会失败(分段错误,核心转储)。

我在考虑使用GNU parallel运行脚本的另一种可能性。我对此非常陌生,对此也知之甚少。任何帮助将不胜感激。

1 个答案:

答案 0 :(得分:2)

假设您有example.py,并且您想要运行N次。您可以运行以下

seq 10 | parallel -N0 --jobs 0 example.py

将此分解seq 10将导致运行10个作业。 -N0标志告诉我们忽略seq 10命令在输入输出中通常读取的输入。 --jobs 0将允许尽可能多的并行运行。

据我所知,parallel并没有让你说没有输入运行这个程序X次所以你必须用seq滥用管道进入命令然后用-N0标志忽略它。

阅读本文以获取有关命令的更多示例:https://www.gnu.org/software/parallel/man.html

相关问题