自己写的丨爬取某网站品牌保存到本地为sql文件的爬虫，可导入destoon7数据库中

本文来源吾爱破解论坛

有图有真像

2019-09-11_092722.png (53.01 KB, 下载次数: 0)

下载附件  保存到相册

2019-9-11 09:27 上传

自己写的，爬取某网站品牌保存到本地为sql文件的爬虫


0、有防爬虫机制，保证爬取顺利
1、可以爬取多个分页，页数可以自己改
2、自动将对方网站上的分类改成自己的分类
3、自动下载品牌图片，并保存到指定的目录
4、自动保存的sql文件可以直接导入到destoon 7程序中
5、可以设置爬取多个字段，多少可以自己修改，但需要注意修改sql语句
6、自动判断链接是否存在，如果状态码是200才进行抓取
7、使用urllib, requests, re, threading, time, random 库
8、使用了多线程，但也只有单线程
9、本来想做界面的，但...懒了
10、有防错机制，当出现错误时，程序不会停止爬取，可以简单提示错误并自动跳过


上代码，各位看观有什么意见，跟帖喽


wood365_brand.rar (2.12 KB, 下载次数: 78) 2019-9-11 09:25 上传 点击文件名下载附件
爬取某大型网站品牌的Python代码
下载积分: 吾爱币 -1 CB