1 Star 15 Fork 16

骨子里的偏爱 / 淘宝-1688-京东爬取

加入 Gitee
与超过 1200万 开发者一起发现、参与优秀开源项目,私有仓库也完全免费 :)
免费加入
克隆/下载
贡献代码
同步代码
取消
提示: 由于 Git 不支持空文件夾,创建文件夹后会生成空的 .keep 文件
Loading...
README
MIT

MarketSpider

OSCS Status
淘宝、京东、拼多多、1688、京喜信息爬虫。方便自动化的获取指定关键词的商品链接、商品价格、商品名称、店铺名称、店铺链接等信息。配合Tkinter的GUI界面,可以清晰监测运行状态。
欢迎提供建议和程序改进!

免责声明

  1. 本程序仅供用于交流学习原理使用。禁止用于商业活动或其他非法用途。
  2. 对于被爬虫网站请遵守robots协议指引爬取数据。
  3. 对于不遵守以上规定的,程序编写者不承担任何责任。

快速指引

1、Python与Python包配置

  1. 正确安装Python3,建议安装Python3.8以上环境。
  2. (可选)建立Venv环境
  3. 在终端下运行pip install -r requirements.txt,安装所需包。

2、WebDriver配置

通过使用WebDriver,Selenium可以操作市场上主流浏览器。通过以下链接可以前往下载站点。下载后将其放置在本程序文件夹内即可。
注意需要使用与您浏览器安装版本相对应的WebDriver。
Google Chrome | MS Edge | Selenium-Install Drivers指引
程序默认使用Google Chrome浏览器,如果您需要使用其他浏览器,请按照下方指引更改代码。

  • 程序文件中的options = webdriver.ChromeOptions()更改为对应浏览器,如Edge则更改为options = webdriver.EdgeOptions()
  • 程序文件中的driver=webdriver.Chrome(options=options)更改为对应浏览器,如Edge则更改为driver=webdriver.Edge(options=options)

详细的指引可以参阅Selenium的Webdriver文档,点击此处跳转

3、启动对应程序开始使用

拼多多、京喜平台特别说明

拼多多、京喜平台因技术原因,使用半自动化方案,手动保存浏览器的请求,使用对应程序进行读取并保存成为CSV文件。无需使用Selenium环境。如何获取HAR文件可至HAR文件获取

文件结构

文件名 备注
\ functions 自定义包
GetCookie.py 用于自动化获取登录cookie
jdSpider.py 京东商城爬虫程序
taobaoSpider.py 淘宝网爬虫程序
1688Spider.py 阿里巴巴1688爬虫程序
error.wav 错误提示音乐
requirements.txt pip依赖列表
jingxi_HAR_reader.py 京喜HAR读取程序
pdd_HAR_reader.py 拼多多HAR读取程序

使用教程

Github Wiki

MIT License Copyright (c) 2022 zhangjiancong Permission is hereby granted, free of charge, to any person obtaining a copy of this software and associated documentation files (the "Software"), to deal in the Software without restriction, including without limitation the rights to use, copy, modify, merge, publish, distribute, sublicense, and/or sell copies of the Software, and to permit persons to whom the Software is furnished to do so, subject to the following conditions: The above copyright notice and this permission notice shall be included in all copies or substantial portions of the Software. THE SOFTWARE IS PROVIDED "AS IS", WITHOUT WARRANTY OF ANY KIND, EXPRESS OR IMPLIED, INCLUDING BUT NOT LIMITED TO THE WARRANTIES OF MERCHANTABILITY, FITNESS FOR A PARTICULAR PURPOSE AND NONINFRINGEMENT. IN NO EVENT SHALL THE AUTHORS OR COPYRIGHT HOLDERS BE LIABLE FOR ANY CLAIM, DAMAGES OR OTHER LIABILITY, WHETHER IN AN ACTION OF CONTRACT, TORT OR OTHERWISE, ARISING FROM, OUT OF OR IN CONNECTION WITH THE SOFTWARE OR THE USE OR OTHER DEALINGS IN THE SOFTWARE.

简介

淘宝、京东、拼多多、1688、京喜信息爬虫。方便自动化的获取指定关键词的商品链接、商品价格、商品名称、店铺名称、店铺链接等信息。配合Tkinter的GUI界面,可以清晰监测运行状态。 展开 收起
Python
MIT
取消

发行版

暂无发行版

贡献者

全部

近期动态

加载更多
不能加载更多了
Python
1
https://gitee.com/zhangchang521/taobao-1688-jingdong-crawling.git
git@gitee.com:zhangchang521/taobao-1688-jingdong-crawling.git
zhangchang521
taobao-1688-jingdong-crawling
淘宝-1688-京东爬取
master

搜索帮助