使用ASP.net自动下载网站内容

Question

使用ASP.net，我可以使用哪些方法来执行以下操作：

1. 打开与指定网址的连接以阅读HTML内容
2. 解析超链接的给定URL，并将它们放在数组中
3. 遍历每个超链接（仅向下1级），打开每个超链接，将HTML内容保存在表格中，然后移至下一个超链接直到完成。

如果ASP.net不能胜任该任务，则可以接受其他语言或免费脚本/工具包。

感谢。

Answer 1

• 使用System.Net.WebClient执行第1步。
• 使用System.Text.RegularExpressions显示here作为第2步。
• 为第2步创建并使用System.Data.DataTable。
• 请参阅here了解第3步

我遗漏了一些显而易见的事情，比如“通过DataTable循环”等等。更深入的答案可能不是来自这个网站的东西。这个问题有点太大了，无法完全回答。