获取需要登录后的网站的来源

Question

我不想写一个脚本来获取需要帖子登录的网站的来源。 我需要一个shell脚本来执行此操作。我想解析一些信息。 知道哪种语言是处理http请求和cookie的最佳选择？ 谢谢。

Answer 1

从shell编程开始，curl可以执行POST以获取网页源代码。 - 请参阅-d选项。

然后，您可以使用grep，sed或其他选项的shell脚本来解析结果。

更自动化/复杂/复杂是使用Perl，Ruby编写Web scraper程序，选择你的语言

Answer 2

看看cURL。从未在命令行中使用它，但它能够发送POST变量。