用bash进行网页爬取

Question

我正在用bash进行网页抓取。这些网址已保存在文件URL.txt中

?daypartId=1&catId=1
?daypartId=1&catId=11
?daypartId=1&catId=2

我想将这些URL传递到另一个文件中的数组，该文件将附加到基本URL https://www.mcdelivery.com.pk/pk/browse/menu.html 中 我想将所有URl URL.txt文件一一追加到基本URL的末尾。

Answer 1

您将需要一种读取每一行的方法，

while IFS= read -r line ;do
        echo $line
done < "${file}"

然后在该文件读取循环内，您将需要执行操作以追加并使用您获得的$ line。

curl http://example.com${line}