如何检查启动后台进程的bash脚本的执行时间

时间:2016-03-24 20:05:48

标签: bash shell parallel-processing

我有一个bash脚本,它在后台运行4个不同的进程,你可以看到下面的代码:

declare -a arr=("seed_automation_data_1" "seed_automation_data_2" "seed_automation_data_3" "seed_automation_data_4")
command="bundle exec rake db:seed:"
for i in "${arr[@]}"
do
   $command$i &
done

此bash脚本实际上在rake task中运行rails framework

  

$ command $ i&

这一特定行在后台启动了四个不同的过程: -

bundle exec rake db:seed:seed_automation_data_1
bundle exec rake db:seed:seed_automation_data_2
bundle exec rake db:seed:seed_automation_data_3
bundle exec rake db:seed:seed_automation_data_4

由于后台运行了四个不同的流程,我无法知道bash script何时FINISHED或计算execution-time

有没有办法可以打印一些表明脚本已经完成运行的语句?

2 个答案:

答案 0 :(得分:2)

查看bash中的wait function。它只是等待所有子进程完成。然后,您可以轻松计算经过的时间,例如使用SECONDS内部变量(解释here):

SECONDS=0

declare -a arr=("seed_automation_data_1" "seed_automation_data_2" "seed_automation_data_3" "seed_automation_data_4")
command="bundle exec rake db:seed:"
for i in "${arr[@]}"
do
  $command$i &
done

wait
echo $SECONDS

答案 1 :(得分:2)

看起来像GNU Parallel的工作:

declare -a arr=("seed_automation_data_1" "seed_automation_data_2" "seed_automation_data_3" "seed_automation_data_4")
parallel --joblog - bundle exec rake db:seed:{} ::: "${arr[@]}"

GNU Parallel是一个通用的并行程序,可以很容易地在同一台机器上或在你有ssh访问权限的多台机器上并行运行作业。它通常可以替换for循环。

如果要在4个CPU上运行32个不同的作业,并行化的直接方法是在每个CPU上运行8个作业:

Simple scheduling

GNU Parallel会在完成后生成一个新进程 - 保持CPU处于活动状态,从而节省时间:

GNU Parallel scheduling

<强>安装

如果没有为您的发行版打包GNU Parallel,您可以进行个人安装,不需要root访问权限。这可以在10秒内完成:

(wget -O - pi.dk/3 || curl pi.dk/3/ || fetch -o - http://pi.dk/3) | bash

有关其他安装选项,请参阅http://git.savannah.gnu.org/cgit/parallel.git/tree/README

了解详情

查看更多示例:http://www.gnu.org/software/parallel/man.html

观看介绍视频:https://www.youtube.com/playlist?list=PL284C9FF2488BC6D1

完成教程:http://www.gnu.org/software/parallel/parallel_tutorial.html

注册电子邮件列表以获得支持:https://lists.gnu.org/mailman/listinfo/parallel