我正在尝试抓取我网站上的每个页面（由cron运行）来更新数据。大概有500页。
我尝试过两种选择。
使用上述任何一种方法，每页大约需要1.402秒才能加载。总共需要570秒。
有更有效的方法吗？
答案 0 :(得分：0)
并行请求页面（即同时）。然后每个请求需要多长时间并不重要，因为许多请求会立即触发。
有很多方法可以实现这一目标，但这里有一个例子：
curl www.website.com/page1 &
curl www.website.com/page2 &
curl www.website.com/page3 &
使用xargs或其他工具来防止服务器充斥过多的并发连接。例如Bash script processing commands in parallel
在单个PHP脚本中并行运行命令可能很复杂。如果可能，更容易使用命令行。