并行维基百科请求的安全数量

时间:2015-04-02 05:55:07

标签: web-crawler wikipedia

我可以向维基百科发出安全数量的并行GET请求,而不会限制我,或者对我生气。

1 个答案:

答案 0 :(得分:1)

他们说明了一些API:EtiquetteAPI:FAQ

  

读取请求没有硬性和快速限制,但我们要求您   要体谅并尽量不要占用网站。大多数系统管理员保留   如果你确实危害了你,有权阻止你   他们网站的稳定性。

     

如果您按顺序而不是并行提出请求(即等待   对于一个请求在发送新请求之前完成,这样   你永远不会同时发出多个请求,那么你   应该没问题。还可以尝试将内容组合到一个请求中(例如,在titles参数中使用多个标题,而不是为每个标题发出新请求

API常见问题解答声明,您可以为每个API请求检索50个页面。

如果您需要离线内容(可能有点过时),也可以使用Data Dumps

如果您达到任何限制,为了正常终止您的脚本,您可以处理错误& API调用中的警告使用these状态消息。

相关问题