首页 编程教程正文

Scrapy爬取猫眼流浪地球影评1----- 安装配置Scrapy

piaodoo 编程教程 2020-02-22 22:06:05 945 0 python教程

本文来源吾爱破解论坛

本帖最后由 py看考场 于 2019-3-24 18:30 编辑

心血来潮,想发一个关于python爬虫的文章,因为之前刚好爬过流浪地球影评,而且猫眼一般情况下不会有反爬措施,所以爬起来比较顺手。爬取工具就用Scrapy吧,因为其自带加速buff。

首先安装和配置一下scrapy,大佬可以绕过,看看下两个帖子。

传输门   scrapy爬取数据   数据可视化

.安装scrapy模块
以下是在windows中的安装过程,scrapy依赖的库比较多,如lxml、pyOpenSSL、Twisted
1.首先,升级pip : python -m pip install --upgrade pip(进入cmd命令行界面)

1.png (13.72 KB, 下载次数: 0)

下载附件  保存到相册

2019-3-15 21:54 上传



2.安装wheel : pip install wheel

2.png (12.88 KB, 下载次数: 0)

下载附件  保存到相册

2019-3-15 21:58 上传



3.下载安装lxml 下载地址: https://www.lfd.uci.edu/~gohlke/pythonlibs/#lxml
注:下载对应python版本和位数的.whl文件
首先cmd模式下输入python,查看相关信息

3.png (16.81 KB, 下载次数: 0)

下载附件  保存到相册

2019-3-15 22:07 上传


下载与信息相匹配的文件

4.png (13.52 KB, 下载次数: 0)

下载附件  保存到相册

2019-3-16 00:19 上传


安装lxml文件
pip install lxml-xxx.whllxml-xxx.whl指的是你下载的lxml安装文件名字


4.下载安装Twisted 下载地址: http://www.lfd.uci.edu/~gohlke/pythonlibs/#twisted
注:下载对应python版本和位数的.whl文件
和第三步一样

5.png (16.65 KB, 下载次数: 0)

下载附件  保存到相册

2019-3-16 00:18 上传


安装twisted文件
pip install twisted-xxx.whl, twisted-xxx.whl指的是你下载的twisted安装文件名字

5.安装pyOpenSSL : pip install pyOpenSSL

6.png (24.07 KB, 下载次数: 0)

下载附件  保存到相册

2019-3-16 00:16 上传



6.最后安装scrapy:  pip install  scrapy

7.png (24.23 KB, 下载次数: 0)

下载附件  保存到相册

2019-3-16 00:17 上传



安装大功告成!


.配置scrapy
1.win+R输入cmd进入命令行界面,输入e: 回车切换至E盘。输入scrapy -h查看scrapy的相关命令

8.png (22.87 KB, 下载次数: 0)

下载附件  保存到相册

2019-3-15 23:04 上传



2.用startproject命令创建一个新的项目名字为maoyan

11.png (11.24 KB, 下载次数: 0)

下载附件  保存到相册

2019-3-15 23:10 上传


此时在E盘中创建了名为maoyan的文件夹

13.png (12.47 KB, 下载次数: 0)

下载附件  保存到相册

2019-3-15 23:14 上传



3进入maoyan文件夹,用genspider命令创建一个爬虫文件comment.py

16.png (8.05 KB, 下载次数: 0)

下载附件  保存到相册

2019-3-15 23:43 上传


此时在spiders文件夹中会出现comment.py文件

21.png (14.41 KB, 下载次数: 0)

下载附件  保存到相册

2019-3-15 23:46 上传



4.用pycharm打开maoyan文件夹,进入主目录

31.png (22.08 KB, 下载次数: 0)

下载附件  保存到相册

2019-3-15 23:50 上传



5.打开settings.py文件,修改robots.txt并把67-69之间的代码取消注释,保存

41.png (14.42 KB, 下载次数: 0)

下载附件  保存到相册

2019-3-15 23:57 上传



42.png (21.86 KB, 下载次数: 0)

下载附件  保存到相册

2019-3-15 23:58 上传



至此,scrapy配置成功!


写作不易,希望大家给个热心吧,多谢啦
明天再介绍猫眼电影影评的爬取,晚安~~~



版权声明:

本站所有资源均为站长或网友整理自互联网或站长购买自互联网,站长无法分辨资源版权出自何处,所以不承担任何版权以及其他问题带来的法律责任,如有侵权或者其他问题请联系站长删除!站长QQ754403226 谢谢。

有关影视版权:本站只供百度云网盘资源,版权均属于影片公司所有,请在下载后24小时删除,切勿用于商业用途。本站所有资源信息均从互联网搜索而来,本站不对显示的内容承担责任,如您认为本站页面信息侵犯了您的权益,请附上版权证明邮件告知【754403226@qq.com】,在收到邮件后72小时内删除。本文链接:https://www.piaodoo.com/7527.html

搜索