用Python爬取百度文库0下载券的免费文档详细步骤，附可执行软件

本文来源吾爱破解论坛

以前在百度文库上搜索文档，经常会找到不需要下载券的免费文档。但是现在百度文库把免费的文档都分散到了后面，让人不容易找到。
要爬取这些文档，首先要分析百度文库的搜索内容，有的需要下载券，有的需要0下载券但是VIP专享


我们需要0下载券又没有VIP专享的文档，比如下面这样的：

我把所有0下载券的文档标题、格式、时间、大小、下载量存到数组，打印出来。
需要先遍历所有的搜索页，我分析了一下地址：
https://wenku。baidu。com/search?word=%C8%FD%C9%FA%C8%FD%CA%C0%CA%AE%C0%EF%CC%D2%BB%A8&org=0&fd=0&lm=0&od=0&pn=10
这个地址只有Word和pn这两个参数是变化的，而且很容易分析出Word是搜索的关键字，pn可以理解为页码，pn=0是第1页，pn=10是第2页。
搜索的关键词需要先经过编码再添加到地址中。

运行代码输出的部分结果：

副本.jpg (79.92 KB, 下载次数: 1)

下载附件  保存到相册

2020-1-14 21:24 上传

打开第一个结果的链接，就是不需要下载券的文档，可以直接下载了：

副本.jpg (51.78 KB, 下载次数: 2)

下载附件  保存到相册

2020-1-14 21:27 上传

下面是完整代码和详细注释：
[Python] 纯文本查看 复制代码

from urllib import parse
import requests
import webbrowser
from pyquery import PyQuery as pq

def getPage(keyW):
    pn = 0#从第1页开始
    try:
        while keyW != '':#关键词不能为空
            url = 'https://wenku.baidu.com/search?word=' + keyW + '&org=0&fd=0&od=0&pn=' + str(pn)
            r = requests.get(url)
            r.encoding = 'gb2312'#需要先将获取的源码进行编码再交给pyquery，否则汉字都是乱码
            doc = pq(r.text)
            len1 = len(doc('dl'))#dl是每条搜索内容的标签，这一句是获取当前页的搜索数
            if pn == 0 and len1 == 0:
                #百度文库中没有搜索不到结果的情况。如果第一页就没有结果，说明需要验证网页，
                # 因为如果搜索太频繁，百度文库会提示需要验证
                print("提示:因操作频繁，本次需要验证。验证完成后，重新搜索。")
                webbrowser.open(url, new=0)#这一句可以直接打开浏览器，自己手动在网页上验证。
                                        # 验证完跳出循环，运行结束。自己再重新执运行码。每天最多只需验证一次。
                break
            else:
                for dl in range(len1):#遍历所有结果
                    list = []
                    dl_eq = doc('dl').eq(dl)#这样获取的dl标签的源码，这一句很重要
                    if 'VIP专享' not in dl_eq.find('.ico-vip-special').text() and '0下载券' in dl_eq.find('.detail-info').text():
                    #判断是不是0下载券，又没有VIP专享
                        list.append(dl_eq.find('.log-xsend').text())#标题写入list数组
                        list.append(dl_eq.find('.ic').attr('title'))#格式写入list数组
                        list.append(dl_eq.find('.detail-info').text().split('|', 4)[0])#日期写入list数组
                        list.append(dl_eq.find('.detail-info').text().split('|', 4)[1])#大小写入list数组
                        list.append(dl_eq.find('.detail-info').text().split('|', 4)[2])#下载量写入list数组
                        list.append(dl_eq.find('.log-xsend').attr('href'))#链接写入list数组
                        print(list)
                if len(doc('.page-content .next'))==0:#当网页中没有下一页标签就是最后一页了。.page-content .next是下一页的class
                    print("提示:搜索完成。")
                    break
                pn = pn+10#进入下一页
        else:
            print("提示:请输入关键词。")
    except requests.exceptions.ConnectionError:
        print("提示:网络异常，请检查网络并重新搜索！")

if __name__ == '__main__':
    keyWord = "三生三世十里桃花".replace(' ', '')#去掉关键词中的空格，关键词根据个人需要修改
    keyW = parse.quote(keyWord.encode('gb2312'))#对关键词进行编码
    getPage(keyW)#需要搜索的关键词

为了方便使用，我用wxpython打包了可执行程序：

副本.jpg (32.54 KB, 下载次数: 1)

下载附件  保存到相册

2020-1-14 21:32 上传

软件成品后期在论坛发布。

本帖被以下淘专辑推荐: · python应用|主题: 27, 订阅: 15