登录 注册
开源 企业版 高校版 私有云 Gitee AI NEW
WEB应用开发
/
Web爬虫
MIT
全部项目 MulanPSL-2.0 0BSD AFL-3.0 AGPL-3.0 Apache-2.0 Artistic-2.0 BSD-2-Clause BSD-3-Clause BSD-3-Clause-Clear BSD-4-Clause BSL-1.0 CC-BY-4.0 CC-BY-SA-4.0 CC0-1.0 CECILL-2.1 CERN-OHL-P-2.0 CERN-OHL-S-2.0 CERN-OHL-W-2.0 ECL-2.0 EPL-1.0 EPL-2.0 EUPL-1.1 EUPL-1.2 GFDL-1.3 GPL-2.0 GPL-3.0 ISC LGPL-2.1 LGPL-3.0 LPPL-1.3c MIT-0 MPL-2.0 MS-PL MS-RL MulanPSL-1.0 MulanPubL-1.0 MulanPubL-2.0 NCSA ODbL-1.0 OFL-1.1 OSL-3.0 PostgreSQL UPL-1.0 Unlicense Vim WTFPL Zlib
全部语言
Java JavaScript HTML CSS Python Shell C C++ PHP C# TypeScript Go Objective-C Android Kotlin Ruby Assembly Swift NodeJS Perl Dart Lua Matlab 其他 Rust PowerShell HTML/CSS 微信 Scala Groovy C/C++ XSLT Verilog R QML Docker Pascal CoffeeScript FORTRAN Erlang ActionScript Emacs Lisp Smalltalk SQL Delphi VHDL TeX/LaTeX ASP M Visual Basic Clojure Common Lisp Haskell Awk LiveScript Elixir Scheme Julia 易语言 OCaml Puppet AutoHotkey YAML Ada Pawn Standard ML D XML Arduino Logos VimL Prolog 汇编 Haxe ColdFusion Vala Crystal Scilab Coq Racket Lisp Slash Eiffel eC DOT Zephir Nemerle
Stars
Stars 最新推荐 最近更新
58527 cnjack 1578915800

cnjack/novel-spider

132
曾经一度痴迷于看小说，小说给了我第二个世界，脱离于现实生活的世界。虽然因为看小说耽误了很多光阴，但是它也给我带来了很多的快乐，伴随主人公的开心而开心，伴随主人公的伤心而伤心。
Go
Web爬虫
|
接近4年前
7550760 boris code 1642990644

博众科技/feapder

67
feapder是一款支持分布式、批次采集、任务防丢、报警丰富的python爬虫框架
Python
Web爬虫
|
1个月前

xwlcn/Dodder

55
一个支持集群部署的分布式 DHT 网络爬虫
Java
Web爬虫
|
4年多前
789743 licoy 1578932889

Licoy/pic-gather

51
【永久停止更新】PicGather是基于electron-vue开发的个人图片收藏器，支持自定义收藏源站配置，兼容MacOS与Windows操作系统
JavaScript
Web爬虫
|
4年多前

tansty/CSDN-spider

48
爬取csdn的文章并转换为md格式
Python
Web爬虫
|
接近4年前
5338766 hty741203776 1640247712

Herche Jane/IntelliScraper

43
它是一个先进的网络爬虫工具，利用 BeautifulSoup 和机器学习技术实现高效的数据提取和分析。
Python
Web爬虫
|
5个月前
1408 sevkme 1578914012

sevk/kk-irc-bot

42
分不出是真人还是ROBOT的IRCBOT。 当时刚学RUBY，写着玩的机器人。 项目分类应该是聊天工具,不是Web爬虫.
Ruby
Web爬虫
|
接近9年前
647119 heyzf 1578930138

dwbmio/scrapy_proj

42
因为是oschina所有都是大中文了：）起因是看到一个网站很多kindle的资源丧心病狂想占为己有全部趴下来 自然使用了scrapyscrapy刚需安装beautifulsoup刚需安装mongodb随存储方式安装python渣要开始啦
Python
Web爬虫
|
接近5年前
537766 kzeng 1660309299

kzeng/picpicker

41
根据图书ISBN抓图书封面图片的小程序
Python
Web爬虫
|
6年多前

ketle/jiumozhi

40
phpcrawler,php爬虫,php采集器,多进程,多线程
PHP
Web爬虫
|
接近8年前

如沐春/简单的PHP爬虫系统

24
简单实现创建爬虫项目，然后导入数据库的功能。
PHP
Web爬虫
|
4年前
No enterprise avatar

echo_yjl_lyc/辣鸡采集 laji-collect

21
【辣鸡采集，采集世界上所有辣鸡数据 欢迎大家来采集】go全开源 最新算法采集 全智能采集 不用写规则 填url就可以 全自动化采集发布数据库 api 本地发布 导出 在线可视化操作界面
Go
Web爬虫
|
3年多前

佐天泪子亲卫队/TiebaSpider

14
使用NodeJs/Io.Js编写的简单的对贴吧进行遍历并存入Mysql的网络爬虫，仅供参考
NodeJS
Web爬虫
|
9年多前

xiyuan0918/ppspider

13
web spider build with puppeteer
TypeScript
Web爬虫
|
4年前

singlekk/awesome-python-login-model

13
python模拟登陆一些大型网站，还有一些简单的爬虫
Python
教程配套代码 Web爬虫
|
接近4年前
今日热门
本周热门
AJay13/ECommerceCrawlers
4.4K
实战多种网站、电商数据爬虫。包含：淘宝商品、微信公众号、大众点评、招聘网站、闲鱼、阿里任务、scrapy博客园、微博、百度贴吧、豆瓣电影、包图网、全景网、豆瓣音乐、某省药监局、搜狐新闻、机器学习文本采集、fofa资产采集、汽车之家、国家统计局、百度关键词收录数、蜘蛛泛目录、今日头条、豆瓣影评️️️。微信爬虫展示项目:
博众科技/feaplat
8
爬虫管理系统，支持集群，弹性伸缩。支持运行feapder、scrapy、selenium、platwright等各种框架及脚本
鬼画符/templatespider
2.9K
扒网站工具，看好哪个网站，指定好URL，自动扒下来做成模版。所见网站，皆可为我所用！
tikazyq/crawlab
781
Crawlab 是一个使用 Golang 开发的分布式爬虫管理平台，支持Python、NodeJS、Go、Java、PHP等多种编程语言以及多种爬虫框架
Vanishi/DS
300
一个Qt开发的可以替代爬虫的网页数据采集软件，它最重要的特点就是，降低了采集网页数据的门槛，由至少必须掌握一门编程语言降低到只要会操作电脑即可。
AJay13/ECommerceCrawlers
4.4K
实战多种网站、电商数据爬虫。包含：淘宝商品、微信公众号、大众点评、招聘网站、闲鱼、阿里任务、scrapy博客园、微博、百度贴吧、豆瓣电影、包图网、全景网、豆瓣音乐、某省药监局、搜狐新闻、机器学习文本采集、fofa资产采集、汽车之家、国家统计局、百度关键词收录数、蜘蛛泛目录、今日头条、豆瓣影评️️️。微信爬虫展示项目:
鬼画符/templatespider
2.9K
扒网站工具，看好哪个网站，指定好URL，自动扒下来做成模版。所见网站，皆可为我所用！
kanasimi/work_crawler
48
小说漫画下载工具:腾讯漫画 大角虫漫画 有妖气 知音漫客 咪咕 SF漫画 哦漫画 看漫画 漫画柜 漫画160 汗汗酷漫 動漫伊甸園 网易漫画 快看漫画 微博动漫 733动漫网 大古漫画网 漫画DB 動漫狂 卡推漫画 动漫之家 动漫屋 土豪漫画 古风漫画网 36漫画网 亲亲漫画网 360漫画 乙女漫画 comico webtoons 咚漫 OVERLAP MAGCOMI ComicWalker ヤングエースUP モアイ pixivコミック サイコミ;アルファポリス カクヨム ハーメルン 小説家になろう 卡提諾論壇 起点中文网 八一中文网 顶点小说 落霞小说网 努努书坊 笔趣阁→epub. Download online novels, comics. 小說漫畫下載
博众科技/feaplat
8
爬虫管理系统，支持集群，弹性伸缩。支持运行feapder、scrapy、selenium、platwright等各种框架及脚本
tikazyq/crawlab
781
Crawlab 是一个使用 Golang 开发的分布式爬虫管理平台，支持Python、NodeJS、Go、Java、PHP等多种编程语言以及多种爬虫框架
芦荟柚子茶/Csharp爬取音乐源码
120
基于.NET的音乐搜索与播放软件（编程语言：C#，爬取4个平台：酷我/网易云/酷狗/QQ） 基本思路： 1、模拟搜索：通过关键字，获取歌曲列表 2、获取歌曲关键信息（歌曲ID之类的唯一标识） 3、使用指定方法（某个url），根据歌曲ID获取歌曲播放地址 4、将歌曲下载到本地，实现下载或播放 限制：vip音乐大多没法爬取（酷我除外），而且为试听品质 代码内容相对较少，代码编写规范，个人认为是很好的入门project
luosl/webmagicx
184
webmagicx一款基于webmagic的可配置化的爬虫框架
Vanishi/DS
300
一个Qt开发的可以替代爬虫的网页数据采集软件，它最重要的特点就是，降低了采集网页数据的门槛，由至少必须掌握一门编程语言降低到只要会操作电脑即可。
zorlan/蓝天采集器
810
蓝天采集器是一款开源免费的爬虫系统，仅需点选编辑规则即可采集数据，可运行在本地、虚拟主机或云服务器中，几乎能采集所有类型的网页，无缝对接各类CMS建站程序，免登录实时发布数据，全自动无需人工干预！是网页大数据采集软件中完全跨平台的云端爬虫系统
点此查找更多帮助

搜索帮助

Git 命令在线学习 如何在 Gitee 导入 GitHub 仓库
Git 仓库基础操作
企业版和社区版功能对比
SSH 公钥设置
如何处理代码冲突
仓库体积过大，如何减小？
如何找回被删除的仓库数据
Gitee 产品配额说明
GitHub仓库快速导入Gitee及同步更新
什么是 Release（发行版）
将 PHP 项目自动发布到 packagist.org
回到顶部