限制大小wget可以下载

时间:2013-12-01 22:18:15

标签: bash unix wget

是否可以限制或限制从网站下载wget的数据量?是通过服务器设置还是wget设置?

例如,一页是1GB​​大小,我希望wget停止以100MB下载。

3 个答案:

答案 0 :(得分:11)

利用系统通过ulimit命令限制进程资源消耗的能力应该可行。假设你使用bash:

(ulimit -f 102400; wget $url)

这里的大小是1024字节块。请注意,如果您使用不同的仍然符合标准的shell,或者在POSIX模式下使用bash,则块大小为512字节,因此命令应为:

(ulimit -f 204800; wget $url)

答案 1 :(得分:5)

请参阅-Q中的--quotaman wget选项。

  

指定自动检索的下载配额。该值可以以字节(默认),千字节(带有k后缀)或兆字节(带有m后缀)指定。

     

请注意,配额永远不会影响下载单个文件。因此,如果指定wget -Q10k ftp://wuarchive.wustl.edu/ls-lR.gz,则将下载所有ls-lR.gz。即使在命令行中指定了多个URL,情况也是如此。但是,在递归检索或从输入文件检索时,会遵守配额。因此,您可以安全地键入wget -Q2m -i sites ---超出配额时将下载。

不幸的是,正如文中所解释的那样,这可能对您没有用处:如果您尝试下载特定页面或文件,则此限制将不适用。配额仅在递归下载时才适用。

另一种选择是在后台运行下载,监控文件大小并在文件大于限制时终止wget

答案 2 :(得分:0)

相关问题