爬取唯美女生网站上所有小姐姐的照片

本文来源吾爱破解论坛

本帖最后由 创造太阳 于 2020-2-19 14:04 编辑

最近刚好在整理一些爬虫资料，今天分享一个之前写的爬取图片的代码，主要利用requests库和re库来实现图片的提取和清洗。
首先，通过requests库的get函数访问该页面获得所有文章链接。
然后，用re库来提取网址
最后，通过依次访问图片网址来进行下载保存
具体代码如下：
[Python] 纯文本查看 复制代码

"""导入模块"""
import requests  # 导入requests库
import re  # 导入正则表达式库
import os  # 导入操作系统库
import time  # 导入时间库
print("爬虫程序正在执行中，因设置有延时，故页面显示有些迟缓……")
def dir_save():
    dir_name = re.findall('<h1 class="post-title h3">(.*?)</h1>', html)[-1]  # 正则表达式创建目录名字
    if not os.path.exists(dir_name):  # 判断文件夹是否存在，如果不存在：
        os.mkdir(dir_name)  # 创建一个文件夹
    with open(dir_name + '/' + file_name, 'wb') as f:  # 用wb模式打开创建文件，w写模式
        f.write(response.content)  # 写入二进制文件内容
user = {
    'user-agent': 'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/69.0.3497.100 Safari/537.36'
}
response = requests.get('https://www.vmgirls.com/sitemap.shtml',headers=user)  # 用requests库的get函数访问总网页，用headers进行伪装，获得所有文章网址
html = response.text  # 用文本显示访问网页得到的内容
urls_wz = re.findall('https://www.vmgirls.com/\d*.html', html)  # 用正则表达式获得文章的所有网址
#print(urls_wz)  # 打印显示所有网址
for url_wz in urls_wz:
    time.sleep(30)  # 设定30秒延时
    print('正在爬取：' + str(url_wz) + "的图片")  # 查看正在执行的网址，以判断是否下载完整
    response = requests.get(url_wz, headers=user)  # 用requests库的get函数访问网页，用headers进行伪装
    #print(response.text)    #打印网页
    html = response.text  # 用文本显示访问网页得到的内容
    urls_tp = re.findall('<a href="(.*?)" alt=".*?" title=".*?">', html)  # 正则表达式获得图片网址
    #print(urls_tp)  # 打印显示文章图片网址
    if len(urls_tp):
        for url_tp in urls_tp:  # 循环获取每一个图片网址
            # 图片的名字
            file_name = url_tp.split('/')[-1]  # 取每个url_tp最后的部分
            time.sleep(10)  # 设定10秒延时
            response = requests.get(url_tp, headers=user)  # 用requeste库的get函数访问图片网址，用headers进行伪装
            print("正在保存图片中……")
            dir_save()
        print("保存第一页图片完毕！！！")
        for i in range(2,100):  #用range（）函数分别输出2-99
            url_wz = "".join(url_wz)
            url_dfy = re.findall('(.*?).html',url_wz)
            url_dfy = "".join(url_dfy)
            url_fy = url_dfy + '/page-' + str(i) + '.html'
            #print(url_fy)
            time.sleep(30)  # 设定30秒延时
            response = requests.get(url_fy,headers = user)
            html = response.text
            urls_fy_pic = re.findall('<a href="(.*?)" alt=".*?" title=".*?">', html)
            #print(urls_fy_pic)    #查看图片网址
            if len(urls_fy_pic):
                for url in urls_fy_pic:  # 循环获取每一个图片网址
                    file_name = url.split('/')[-1]  # 取每个url最后的部分
                    time.sleep(5)  # 设定5秒延时
                    response = requests.get(url, headers=user)  # 用requeste库的get函数访问图片网址，用headers进行伪装
                    print("正在保存第%s页的图片……"%str(i))
                    dir_save()
                print("第%s页保存成功"%str(i))
            else:
                print("第%s页面无图片，即将爬取下一篇文章"%str(i))
                break
    else:
        print("原有正则表达式保存不成功的网址是：" + str(url_wz))