如何使用GNU parallel并行运行curl命令

时间:2018-06-28 10:48:30

标签: bash curl gnu-parallel

最近刚开始使用bash编程。我想在'n'次运行curl命令,其中n是用户输入。我想并行运行。我遇到了GNU Parallel。 连续运行n次的curl代码是

ip1="some ip"
ip2="some ip"
ip3="some ip"
for ((j=1; j<= $servers;))
do
    for ((i= 1; i<= $val; i++))
    do
        c=ip$j
        value=scatest"$j$i"
        curl -s -X POST ${!c}:4000/invoke -H "content-type: application/json" -d '{"args":["org1","'$value'","27-06-2018"]}'
        if ((i % $val == 0))
        then
            ((j++))
        fi
    done
done

我想根据用户输入在这些不同的主机上均等地并行运行curl命令。有人可以帮我吗?

预先感谢

1 个答案:

答案 0 :(得分:2)

每个服务器并行化非常简单:

val=1000
doit() {
    server="$1"
    serverno="$2"
    for ((i= 1; i<= $val; i++))
    do
        value=scatest"$serverno$i"
        curl -s -X POST ${server}:4000/invoke -H "content-type: application/json" -d '{"args":["org1","'$value'","27-06-2018"]}'
    done
}
export -f doit
export val
parallel -j0 doit {} {#} ::: serverip1 serverip2 ...

如果您可以接受scatest具有不同的值,则可以进一步并行化:

doit() {
    server="$1"
    jobno="$2"
    i="$3"
    value=scatest"$jobno$i"
    curl -s -X POST ${server}:4000/invoke -H "content-type: application/json" -d '{"args":["org1","'$value'","27-06-2018"]}'
}
export -f doit
seq $val | parallel -j0 doit {1} {#} {2} ::: serverip1 serverip2 ... :::: -