标签： search-engine web-crawler bittorrent
常规搜索引擎，如google，yahoo和msn等。我也是一个软件搜索引擎。首先，它获取网站的所有页面，然后获取所需的数据。这也可以在torrent网站或其他方面工作。对于我的搜索引擎，必须在站点的任何地方都必须存在torrent链接，这必须在爬行中。
答案 0 :(得分：0)
这适用于大多数公共网站..但私人网站没有机器人访问权限。你可以在google上找到很多关于torrent搜索引擎的例子