本文来源吾爱破解论坛
本帖最后由 py看考场 于 2019-3-24 18:30 编辑 1.png (13.72 KB, 下载次数: 0)
下载附件
保存到相册
2.png (12.88 KB, 下载次数: 0)
下载附件
保存到相册
3.png (16.81 KB, 下载次数: 0)
下载附件
保存到相册
4.png (13.52 KB, 下载次数: 0)
下载附件
保存到相册
5.png (16.65 KB, 下载次数: 0)
下载附件
保存到相册
6.png (24.07 KB, 下载次数: 0)
下载附件
保存到相册
7.png (24.23 KB, 下载次数: 0)
下载附件
保存到相册
8.png (22.87 KB, 下载次数: 0)
下载附件
保存到相册
11.png (11.24 KB, 下载次数: 0)
下载附件
保存到相册
13.png (12.47 KB, 下载次数: 0)
下载附件
保存到相册
16.png (8.05 KB, 下载次数: 0)
下载附件
保存到相册
21.png (14.41 KB, 下载次数: 0)
下载附件
保存到相册
31.png (22.08 KB, 下载次数: 0)
下载附件
保存到相册
41.png (14.42 KB, 下载次数: 0)
下载附件
保存到相册
42.png (21.86 KB, 下载次数: 0)
下载附件
保存到相册
心血来潮，想发一个关于python爬虫的文章，因为之前刚好爬过流浪地球影评，而且猫眼一般情况下不会有反爬措施，所以爬起来比较顺手。爬取工具就用Scrapy吧,因为其自带加速buff。
首先安装和配置一下scrapy,大佬可以绕过,看看下两个帖子。
传输门 scrapy爬取数据 数据可视化
一.安装scrapy模块
以下是在windows中的安装过程,scrapy依赖的库比较多,如lxml、pyOpenSSL、Twisted
1.首先，升级pip : python -m pip install --upgrade pip(进入cmd命令行界面)
2.安装wheel : pip install wheel
3.下载安装lxml 下载地址: https://www.lfd.uci.edu/~gohlke/pythonlibs/#lxml
注：下载对应python版本和位数的.whl文件
首先cmd模式下输入python,查看相关信息
下载与信息相匹配的文件
安装lxml文件
pip install lxml-xxx.whl， lxml-xxx.whl指的是你下载的lxml安装文件名字
4.下载安装Twisted 下载地址: http://www.lfd.uci.edu/~gohlke/pythonlibs/#twisted
注：下载对应python版本和位数的.whl文件
和第三步一样
安装twisted文件
pip install twisted-xxx.whl， twisted-xxx.whl指的是你下载的twisted安装文件名字
5.安装pyOpenSSL : pip install pyOpenSSL
6.最后安装scrapy: pip install scrapy
安装大功告成!
二.配置scrapy
1.win+R输入cmd进入命令行界面,输入e: 回车切换至E盘。输入scrapy -h查看scrapy的相关命令
2.用startproject命令创建一个新的项目名字为maoyan
此时在E盘中创建了名为maoyan的文件夹
3进入maoyan文件夹，用genspider命令创建一个爬虫文件comment.py
此时在spiders文件夹中会出现comment.py文件
4.用pycharm打开maoyan文件夹,进入主目录
5.打开settings.py文件，修改robots.txt并把67-69之间的代码取消注释，保存
至此，scrapy配置成功!
写作不易，希望大家给个热心吧，多谢啦
明天再介绍猫眼电影影评的爬取，晚安~~~
版权声明：
本站所有资源均为站长或网友整理自互联网或站长购买自互联网，站长无法分辨资源版权出自何处，所以不承担任何版权以及其他问题带来的法律责任，如有侵权或者其他问题请联系站长删除！站长QQ754403226 谢谢。
- 上一篇： Python调用百度翻译接口【demo】(python3)
- 下一篇： python爬虫，抢小米抢购，
