109 Star 433 Fork 140

DTC2 / ECommerceCrawlers

加入 Gitee
与超过 1200万 开发者一起发现、参与优秀开源项目,私有仓库也完全免费 :)
免费加入
克隆/下载
贡献代码
同步代码
取消
提示: 由于 Git 不支持空文件夾,创建文件夹后会生成空的 .keep 文件
Loading...
README
MIT

GitHub contributors

ECommerceCrawlers

多种电商商品数据🐍爬虫,整理收集爬虫练习。通过实战项目练习解决一般爬虫中遇到的问题。

通过每个项目的readme,了解爬取过程分析。

对于精通爬虫的pyer,这将是一个很好的例子减少重复收集轮子的过程。项目经常更新维护,确保即下即用,减少爬取的时间。

对于小白通过✍️实战项目,了解爬虫的从无到有。爬虫过程的分析可以移步项目wiki。爬虫可能是一件非常复杂、技术门槛很高的事情,但掌握正确的方法,在短时间内做到能够爬取主流网站的数据,其实非常容易实现,但建议从一开始就要有一个具体的目标。

在目标的驱动下,你的学习才会更加精准和高效。那些所有你认为必须的前置知识,都是可以在完成目标的过程中学到的😁😁😁。

欢迎大家对本项目的不足加以指正,⭕️Issues或者🔔Pr

在之前上传的大文件贯穿了3/4的commits,发现每次clone达到100M,这与我们最初的想法违背,我们不能很有效的删除每一个文件(太懒),将重新进行初始化仓库的commit。并在今后不上传爬虫数据,优化仓库结构。

CrawlerDemo

Contribution👏

@Joynice @liangweiyang

wait for you

What You Learn ?

本项目使用了哪些有用的技术

  • 数据分析
    • chrome Devtools
    • Fiddler
    • Firefox
    • appnium
    • anyproxy
    • mitmproxy
  • 数据采集
  • 数据解析
    • re
    • beautifulsoup
    • xpath
    • pyquery
    • css
  • 数据保存
    • txt文本
    • csv
    • excel
    • mysql
    • redis
    • mongodb
  • 反爬验证
    • mitmproxy 绕过淘宝检测
    • js数据解密
    • js数据生成对应指纹库
    • 文字混淆
    • 穿插脏数据
  • 效率爬虫
    • 单线程
    • 多线程
    • 多进程
    • 异步协成
    • 分布式爬虫系统

链接标识官方文档或推荐例子

What`s Spider 🕷?

🙋0x01 爬虫简介

爬虫

爬虫是一种按照一定的规则,自动地抓取万维网信息的程序或者脚本。

爬虫作用

  • 市场分析:电商分析、商圈分析、一二级市场分析等
  • 市场监控:电商、新闻、房源监控等
  • 商机发现:招投标情报发现、客户资料发掘、企业客户发现等

网页介绍

  • url
  • html
  • css
  • js

Roobots协议

无规矩不成方圆,Robots协议就是爬虫中的规矩,它告诉爬虫和搜索引擎哪些页面可以抓取,哪些不可以抓取。 通常是一个叫作robots.txt的文本文件,放在网站的根目录下。

🙋0x02爬取过程

获取数据

模拟获取数据

🙋0x03解析数据

re

beautifulsoup

xpath

yquery

css

🙋0x04 存储数据

小规模数据存储(文本)

  • txt文本
  • csv
  • excel

大规模数据存储(数据库)

  • mysql
  • redis
  • mongodb

🙋0x05 反爬措施

反爬

反反爬

🙋0x06 效率爬虫

多线程

多进程

异步协程

scrapy框架

Padding

…………

Awesome-Example😍:

MIT License Copyright (c) 2019 DropsDevopsOrg Permission is hereby granted, free of charge, to any person obtaining a copy of this software and associated documentation files (the "Software"), to deal in the Software without restriction, including without limitation the rights to use, copy, modify, merge, publish, distribute, sublicense, and/or sell copies of the Software, and to permit persons to whom the Software is furnished to do so, subject to the following conditions: The above copyright notice and this permission notice shall be included in all copies or substantial portions of the Software. THE SOFTWARE IS PROVIDED "AS IS", WITHOUT WARRANTY OF ANY KIND, EXPRESS OR IMPLIED, INCLUDING BUT NOT LIMITED TO THE WARRANTIES OF MERCHANTABILITY, FITNESS FOR A PARTICULAR PURPOSE AND NONINFRINGEMENT. IN NO EVENT SHALL THE AUTHORS OR COPYRIGHT HOLDERS BE LIABLE FOR ANY CLAIM, DAMAGES OR OTHER LIABILITY, WHETHER IN AN ACTION OF CONTRACT, TORT OR OTHERWISE, ARISING FROM, OUT OF OR IN CONNECTION WITH THE SOFTWARE OR THE USE OR OTHER DEALINGS IN THE SOFTWARE.

简介

实战多种网站、电商数据爬虫。包含:淘宝商品、微信公众号、大众点评、闲鱼、阿里任务、百度贴吧、豆瓣电影、包图网、全景网、豆瓣音乐、某省药监局、搜狐新闻、机器学习文本采集、fofa资产采集、汽车之家️️️ 展开 收起
Python
MIT
取消

发行版

暂无发行版

贡献者

全部

近期动态

加载更多
不能加载更多了
Python
1
https://gitee.com/zymITsky/ECommerceCrawlers.git
git@gitee.com:zymITsky/ECommerceCrawlers.git
zymITsky
ECommerceCrawlers
ECommerceCrawlers
master

搜索帮助