3 Star 7 Fork 2

无欲则刚 / GoodsSpider

加入 Gitee
与超过 1200万 开发者一起发现、参与优秀开源项目,私有仓库也完全免费 :)
免费加入
克隆/下载
贡献代码
同步代码
取消
提示: 由于 Git 不支持空文件夾,创建文件夹后会生成空的 .keep 文件
Loading...
README
MIT

GoodsSpider V1.2

测试环境:python3.7
项目简介:
	基于selenium的各大电商(淘宝、京东、拼多多等)平台商品爬取。
	目前已经完成:
		淘宝/京东商品爬取
	接下来开发:
		1.拼多多等各大电商平台。
		2.对比、分析同类商品。
		3.敬请期待
	安装:
		1. pip install -r requirements
		2. 修改webdriver,具体请查看这边文章:https://www.jianshu.com/p/368be2cc6ca1,感谢大佬的分享。
		3. 或者获取本目录下已经修改好的webdriver 版本V70.0.3809.100(64 位)
	特点:
		支持设置爬取速度
		支持设置爬取页数
		支持爬取自定义页数
		支持滑块认证
用法:
	Usage: "usage:GoodsSpider.py [options] arg1"

	Options:
  	--version             show program's version number and exit
  	-h, --help            show this help message and exit
  	-u 用户名, --username=用户名
                        	请输入微博用户名
  	-p 密码, --password=密码  请输入微博密码
  	-k 商品名称, --keyword=商品名称
                        	请输入希望爬取的商品名
  	-g 爬取页数, --getpage=爬取页数
                        	请输入希望爬取的页数 注意:页数越多爬取时间越长
  	-s 爬取速度, --Speed=爬取速度
                        	fast 快 | medium 中等 | slow 慢
  	-o 保存文件名称             请输入文件名称
  	--site=站点名称           请输入想要爬取的站点 | taobao 淘宝 | jingdong 京东
  	-q 爬取的商品数量, --quantity=爬取的商品数量      请输入想要爬取的商品数量
  	--page=具体某一页          请输入想要爬取的具体一页
  	--attr=生成文件格式         请输入生成的文件格式 | csv/xlsx
       ex: python ./GoodsSpider.py -u username -p password -k Python --site=taobao
       python ./GoodsSpider.py -u username -p password -k java书籍 --page=4 --attr=xlsx
       python ./GoodsSpider.py -k python书籍 --site=jingdong

更新:
	2020-3-27	V1.0	完成淘宝商品爬取
	2020-3-30	V1.1	修改部分bug
				滑块认证方案解决
				爬取相比以前效率up+
				添加爬取具体某一页功能 
				添加生成文件格式功能支持csv与xlsx
	2020-03-31	V1.2	完成京东商品爬取
				修改部分bug
				添加可设置爬取商品的数量
				优化部分代码 支持不同平台

与我联系:
	QQ:619443458   备注:GoodsSpider

注意事项:
	淘宝爬取需要登陆账户,因为开发方便所以需要提前绑定淘宝账户与微博。
	--site 默认淘宝 必须跟用户名与密码 京东随便
欢迎大家fork与star~ 欢迎大家fork与star~ 欢迎大家fork与star~

感谢以下大佬们的打赏:

赞助名单 赞助费用 赞助方式
sh****0 ¥6.66 微信红包
P*k ¥66.6 微信红包
爱上你的笑容 ¥18.88 QQ红包
MIT License Copyright (c) 2020 Srpihot Permission is hereby granted, free of charge, to any person obtaining a copy of this software and associated documentation files (the "Software"), to deal in the Software without restriction, including without limitation the rights to use, copy, modify, merge, publish, distribute, sublicense, and/or sell copies of the Software, and to permit persons to whom the Software is furnished to do so, subject to the following conditions: The above copyright notice and this permission notice shall be included in all copies or substantial portions of the Software. THE SOFTWARE IS PROVIDED "AS IS", WITHOUT WARRANTY OF ANY KIND, EXPRESS OR IMPLIED, INCLUDING BUT NOT LIMITED TO THE WARRANTIES OF MERCHANTABILITY, FITNESS FOR A PARTICULAR PURPOSE AND NONINFRINGEMENT. IN NO EVENT SHALL THE AUTHORS OR COPYRIGHT HOLDERS BE LIABLE FOR ANY CLAIM, DAMAGES OR OTHER LIABILITY, WHETHER IN AN ACTION OF CONTRACT, TORT OR OTHERWISE, ARISING FROM, OUT OF OR IN CONNECTION WITH THE SOFTWARE OR THE USE OR OTHER DEALINGS IN THE SOFTWARE.

简介

电商平台商品自定义爬虫脚本(已完成淘宝,京东) 展开 收起
Python
MIT
取消

发行版

暂无发行版

贡献者

全部

近期动态

加载更多
不能加载更多了
马建仓 AI 助手
尝试更多
代码解读
代码找茬
代码优化
Python
1
https://gitee.com/Srpihot/GoodsSpider.git
git@gitee.com:Srpihot/GoodsSpider.git
Srpihot
GoodsSpider
GoodsSpider
master

搜索帮助

344bd9b3 5694891 D2dac590 5694891