基于Scrapy框架爬虫淘宝列表图片和店铺名

piaodoo 编程教程 2020-02-22 22:03:37 885 0 python教程

本文来源吾爱破解论坛

本帖最后由 qq58452077 于 2018-7-22 12:18 编辑

                           爬虫使用教程
一.安装python2运行环境
1.可以去官网下载
a)    . https://www.python.org/downloads/

QQ图片20180722105941.png (80.79 KB, 下载次数: 0)

下载附件保存到相册

2018-7-22 10:59 上传

2.文件夹里

QQ图片20180722110237.png (17.96 KB, 下载次数: 0)

下载附件保存到相册

2018-7-22 11:02 上传

二．配置window环境变量
1.

QQ图片20180722110417.png (8.15 KB, 下载次数: 0)

下载附件保存到相册

2018-7-22 11:06 上传

QQ图片20180722110421.png (23.3 KB, 下载次数: 0)

下载附件保存到相册

2018-7-22 11:06 上传

2.网上有详细安装说明
https://jingyan.baidu.com/article/7908e85c78c743af491ad261.html
三.安装python2第三方库
1.使用python自带包管理器pip安装
      pip install Scrapy
      pip install Django==1.8.2
      pip install selenium
      pip install image
2.安装py2win32库
这个是二级制文件

QQ图片20180722110735.png (23.31 KB, 下载次数: 0)

下载附件保存到相册

2018-7-22 11:07 上传

也是可以用pip install pypiwin32 安装
四.修改项目配置

QQ图片20180722111051.png (20.53 KB, 下载次数: 0)

下载附件保存到相册

2018-7-22 11:11 上传

QQ图片20180722111128.png (21.96 KB, 下载次数: 0)

下载附件保存到相册

2018-7-22 11:22 上传

QQ图片20180722112305.png (37.32 KB, 下载次数: 0)

下载附件保存到相册

2018-7-22 11:23 上传

修改settings.py文件

QQ图片20180722112417.png (26.34 KB, 下载次数: 0)

下载附件保存到相册

2018-7-22 11:24 上传

1.修改谷歌浏览器驱动目录
CHROMEDRIVER_PATH= r"D:\Program Files (x86)\Browser\Chrome\chromedriver.exe"
2.修改谷歌浏览器安装运行文件
CHROMEBIN_PATH =r"D:\Program Files (x86)\Browser\Chrome\Chrome.exe"

QQ图片20180722112532.png (27.32 KB, 下载次数: 0)

下载附件保存到相册

2018-7-22 11:25 上传

QQ图片20180722112625.png (33.24 KB, 下载次数: 0)

下载附件保存到相册

2018-7-22 11:26 上传

QQ图片20180722112840.png (55.41 KB, 下载次数: 0)

下载附件保存到相册

2018-7-22 11:28 上传

QQ图片20180722112922.png (22.44 KB, 下载次数: 0)

下载附件保存到相册

2018-7-22 11:29 上传

修改文件图片存放路径  IMAGES_STORE ="E:\home"
五．运行项目
  进入文件夹

QQ图片20180722113039.png (95.24 KB, 下载次数: 0)

下载附件保存到相册

2018-7-22 11:35 上传

  按shift+右键点击在此处打开命令窗口
   Python  cmdline.py


         嗨学网

taobaoSpider.rar (23.16 KB, 下载次数: 34) 2018-7-22 11:42 上传点击文件名下载附件
下载积分: 吾爱币 -1 CB

         其他附件下载（python2，pywin32，Chrome（包含selenium驱动））
         链接: https://pan.baidu.com/s/1kzkT3IGQdlC6EuZKmaM1qQ 密码: 8agm


   （楼主还是一方式基于Splash框架爬虫,此方式需要搭建docker虚拟环境来运行）
   以上两个方式大概不会被反爬虫机制所限制

         此爬虫仅供学习和参考（如有api版本方式爬虫望告知楼主）


   新人发帖，坛友们多多支持！！！！！

   望大佬指点指点!!!

版权声明：

本站所有资源均为站长或网友整理自互联网或站长购买自互联网，站长无法分辨资源版权出自何处，所以不承担任何版权以及其他问题带来的法律责任，如有侵权或者其他问题请联系站长删除！站长QQ754403226 谢谢。

有关影视版权：本站只供百度云网盘资源，版权均属于影片公司所有，请在下载后24小时删除，切勿用于商业用途。本站所有资源信息均从互联网搜索而来，本站不对显示的内容承担责任，如您认为本站页面信息侵犯了您的权益，请附上版权证明邮件告知【754403226@qq.com】，在收到邮件后72小时内删除。本文链接：https://www.piaodoo.com/7453.html