爬取中关村论坛摄影模的，带源文件

本文来源吾爱破解论坛

本帖最后由 wushaominkk 于 2019-7-17 08:41 编辑

合着上篇帖子的思路：https://www.52pojie.cn/thread-991110-1-1.html
我继续编写了一个爬中关村摄影的爬虫，只需要修改最上面的rang（）里面的参数就可以修改爬取多少页，里面都是小姐姐哦部分不是
思路都是一样的，我就不发了，也挺晚的了
注释部分是代{过}{滤}理服务器，我找不到nb的代{过}{滤}理服务器只需要修改http" :"183.172.192.248:1080就可以修改代{过}{滤}理的ip了
[Python] 纯文本查看 复制代码

import re
import urllib.request
import time
# proxy = urllib.request.ProxyHandler({"http" :"183.172.192.248:1080"})
# opener = urllib.request.build_opener(proxy ,urllib.request.HTTPHandler)
# urllib.request.install_opener(opener)
count = 0
try:
    for c in range(0,10):
        new_url = "http://bbs.zol.com.cn/dcbbs/d16_good_p" + str(c) + ".html#c"
        data_new = urllib.request.urlopen(new_url).read().decode("utf-8","ignore")
        tj_new = 'data-url="/dcbbs/(.*?).html">'
        p1 = re.compile(tj_new).findall(str(data_new))

        for sen in range(len(p1)):
            url = "http://bbs.zol.com.cn/dcbbs/" + str(p1[sen]) + ".html"
            data = urllib.request.urlopen(url).read().decode("GBK","ignore")
            tj = 'data-original="https://bbs-fd.zol-img.com.cn/t_s(.*?).jpg'
            p = re.compile(tj).findall(data)
            for i in range(len(p)):
                url = "https://bbs-fd.zol-img.com.cn/t_s" + str(p[i]) + ".jpg"
                file = "F:/bing/摄影论坛/" + str(p[i][-8:-1]) + ".jpg"
                count +=1
                if count%5 ==0:
                    time.sleep(0.65)
                print("正在保存第%s张图片" % count)
                urllib.request.urlretrieve(url,filename=file)
except urllib.error.URLError as e:
    if hasattr(e, 'code'):
        print(e.code)
    if hasattr(e, "reason"):
        print(e.reason)