Question

我尝试使用以下命令下载ctrl alt del comics。

$ for filename in $(seq 20021023 20100503); do wget http://www.ctrlaltdel-online.com/comics/"$filename".jpg; done

我收到以下错误代码bash: syntax error near unexpected token 'do'

我也尝试过使用cURL，使用此命令

curl http://ctrlaltdel-online.com/comics[20021023..20100503].jpg

我收到以下错误代码curl: (3) [globbing] error: bad range specification after pos 37

出了什么问题，我该如何解决？

Answer 1

正如msw所指出的那样，抓取一个网站可能是非法的，不道德的，对作者有害，或完全没问题。请负责任地使用您的脚本功能和Good（tm）。提出许可肯定是件好事。

请注意，ctrlaltdel-online.com Web服务器似乎使用正常的wget User-Agent字符串将HTTP 403禁止返回wget。模仿Firefox-ish似乎绕过了（虽然我敢打赌他们只是明确否认wget，这表明他们最有可能禁止这种访问）。

USERAGENT='Mozilla/5.0 Firefox/3.6.3'
for DAYS in $(seq 365)
do
    NEXT=`date -d "${DAYS} days ago" +%Y%m%d`
    wget -U "${USERAGENT}" "http://www.cad-comic.com/comics/cad/${NEXT}.jpg"
done

用更大的数字替换365可以追溯到一年以上。 wget输出可能很烦人，所以你可以传递它-q使它安静。

Answer 2

我写的是同一个剧本。在这里。

import sys
import re
import urllib
import os
import ctypes
from urllib import FancyURLopener

class MyOpener(FancyURLopener):
    version = 'Mozilla/5.0 (Windows; U; Windows NT 5.1; it;rv:1.8.1.11)Gecko/20071127 Firefox/2.0.0.11'


def getlinks(add,m,opener):
    ufile=opener.open(add)
    html=ufile.read()
    dates=re.findall('href="/cad/(\d+)">',html)
    links=[]
    for date in dates:
            if date[4:6]==m:
            links.append('http://www.cad-comic.com/cad/'+date)
    links.reverse()
    print 'Total {} comics found.'.format(len(links))
    #print len(links)
    return links

def getstriplink(link,opener):
    ufile=opener.open(link)
    html=ufile.read()
    url=re.search('img src="(.+)" alt="(.+)" title=',html)
    date=link[-8:]
    return(url.group(1),url.group(2),date)



def main():
    y=raw_input('Enter year 2002 - current(yyyy) ')
    m=raw_input('Enter month(only months 12,11 and 10 for 2002)(mm) ')
    add='http://www.cad-comic.com/cad/archive/'+y
    opener=MyOpener()
    links=getlinks(add,m,opener)
    f=open('/media/aux1/pythonary/cad'+str(y)+str(m)+'.html','w')
    print 'downloading'
    for link in links:
        url=getstriplink(link,opener)
        #date=url[0][-8:]
        date=url[2]
        opener.retrieve(url[0],'/media/aux1/pythonary/getcad_files/strip'+date)
        sys.stdout.flush()
        print'.',
        f.write('<h2>'+url[1]+' '+date+'</h2>'+'<p><img src="getcad_files/strip'+date+'"/></p>')

    f.close()




if __name__ == '__main__':
  main()

使用终端下载所有ctrl alt del webcomics

2 个答案: