Question

我需要从许多网站下载许多文件，例如10个文件，通常需要（8-9）秒下载所有文件。

我想要的是同时（并行）发出请求，以便作业在（1-2）秒内完成。

我知道在单个请求和多个请求中使用curl。但10个文件的请求应该同时开始

e.g. 02:38:14 // all the request started at this time

我有很多带宽，所以并行下载不会有问题。

这可能是卷曲还是其他任何方式？

Answer 1

如果要在shell中执行此操作，只需使用&向后台发送命令即可。这应该有效：

for I in `cat urls.txt`; do curl $I & done

这将遍历名为urls.txt的文件中的所有网址，并对其执行curl URL &。 &告诉curl在后台运行。