登录 注册
开源 企业版 高校版 私有云 Gitee AI NEW
WEB应用开发
/
Web爬虫
MIT
全部项目 MulanPSL-2.0 0BSD AFL-3.0 AGPL-3.0 Apache-2.0 Artistic-2.0 BSD-2-Clause BSD-3-Clause BSD-3-Clause-Clear BSL-1.0 CC-BY-4.0 CC-BY-SA-4.0 CC0-1.0 ECL-2.0 EPL-1.0 EPL-2.0 EUPL-1.1 EUPL-1.2 GPL-2.0 GPL-3.0 ISC LGPL-2.1 LGPL-3.0 LPPL-1.3c MPL-2.0 MS-PL MS-RL MulanPSL-1.0 MulanPubL-1.0 MulanPubL-2.0 NCSA OFL-1.1 OSL-3.0 PostgreSQL UPL-1.0 Unlicense WTFPL Zlib
全部语言
Java JavaScript HTML CSS Python Shell C C++ PHP C# TypeScript Go Objective-C Android Kotlin Ruby Assembly Swift NodeJS Perl Lua Dart Matlab 其他 Rust PowerShell HTML/CSS 微信 Scala Groovy C/C++ XSLT Verilog R QML Docker Pascal CoffeeScript FORTRAN Erlang ActionScript Emacs Lisp Smalltalk SQL Delphi TeX/LaTeX VHDL ASP Visual Basic M Clojure Common Lisp Haskell Awk LiveScript Elixir Scheme Julia 易语言 OCaml Puppet AutoHotkey YAML Ada Pawn Standard ML D XML Arduino Logos VimL Prolog 汇编 Haxe ColdFusion Vala Crystal Scilab Coq Racket Lisp Slash Eiffel eC DOT Zephir Nemerle
Stars
Stars 最新推荐 最近更新
58527 cnjack 1578915800

cnjack/novel-spider

132
曾经一度痴迷于看小说，小说给了我第二个世界，脱离于现实生活的世界。虽然因为看小说耽误了很多光阴，但是它也给我带来了很多的快乐，伴随主人公的开心而开心，伴随主人公的伤心而伤心。
Go
Web爬虫
|
3年多前

xwlcn/Dodder

55
一个支持集群部署的分布式 DHT 网络爬虫
Java
Web爬虫
|
4年多前
789743 licoy 1578932889

Licoy/pic-gather

51
【永久停止更新】PicGather是基于electron-vue开发的个人图片收藏器，支持自定义收藏源站配置，兼容MacOS与Windows操作系统
JavaScript
Web爬虫
|
4年多前

tansty/CSDN-spider

46
爬取csdn的文章并转换为md格式
Python
Web爬虫
|
3年多前
5338766 hty741203776 1640247712

Herche Jane/IntelliScraper

42
它是一个先进的网络爬虫工具，利用 BeautifulSoup 和机器学习技术实现高效的数据提取和分析。
Python
Web爬虫
|
4个月前
647119 heyzf 1578930138

dwbmio/scrapy_proj

42
因为是oschina所有都是大中文了：）起因是看到一个网站很多kindle的资源丧心病狂想占为己有全部趴下来 自然使用了scrapyscrapy刚需安装beautifulsoup刚需安装mongodb随存储方式安装python渣要开始啦
Python
Web爬虫
|
接近5年前
537766 kzeng 1660309299

kzeng/picpicker

41
根据图书ISBN抓图书封面图片的小程序
Python
Web爬虫
|
6年多前

ketle/jiumozhi

40
phpcrawler,php爬虫,php采集器,多进程,多线程
PHP
Web爬虫
|
7年多前

如沐春/简单的PHP爬虫系统

24
简单实现创建爬虫项目，然后导入数据库的功能。
PHP
Web爬虫
|
4年前
No enterprise avatar

echo_yjl_lyc/辣鸡采集 laji-collect

21
【辣鸡采集，采集世界上所有辣鸡数据 欢迎大家来采集】go全开源 最新算法采集 全智能采集 不用写规则 填url就可以 全自动化采集发布数据库 api 本地发布 导出 在线可视化操作界面
Go
Web爬虫
|
3年多前

佐天泪子亲卫队/TiebaSpider

14
使用NodeJs/Io.Js编写的简单的对贴吧进行遍历并存入Mysql的网络爬虫，仅供参考
NodeJS
Web爬虫
|
9年多前

xiyuan0918/ppspider

13
web spider build with puppeteer
TypeScript
Web爬虫
|
4年前

junyiz/dature

11
基于 Node.js 的新浪博客备份程序
NodeJS
Web爬虫
|
1年前

flyer555/webrobot

10
# 1、为门户网站、业务管理系统建立可调试的自动任务采集系统； # 2、建立自动化可视化的前端测试系统 # 3、人工智能的业务采集与集成系统
JavaScript
Web爬虫
|
1年多前
673473 1967988842 1609901731

ggymm/spider

10
puppeteer实现爬虫，使用typescript开发
TypeScript
Web爬虫
|
5年多前
今日热门
本周热门
AJay13/ECommerceCrawlers
4.3K
实战多种网站、电商数据爬虫。包含：淘宝商品、微信公众号、大众点评、招聘网站、闲鱼、阿里任务、scrapy博客园、微博、百度贴吧、豆瓣电影、包图网、全景网、豆瓣音乐、某省药监局、搜狐新闻、机器学习文本采集、fofa资产采集、汽车之家、国家统计局、百度关键词收录数、蜘蛛泛目录、今日头条、豆瓣影评️️️。微信爬虫展示项目:
鬼画符/templatespider
2.9K
扒网站工具，看好哪个网站，指定好URL，自动扒下来做成模版。所见网站，皆可为我所用！
fffonion/JJGet
31
晋江小说下载器 镜像自 https://github.com/fffonion/jjget
tikazyq/crawlab
778
Crawlab 是一个使用 Golang 开发的分布式爬虫管理平台，支持Python、NodeJS、Go、Java、PHP等多种编程语言以及多种爬虫框架
AJay13/ECommerceCrawlers
4.3K
实战多种网站、电商数据爬虫。包含：淘宝商品、微信公众号、大众点评、招聘网站、闲鱼、阿里任务、scrapy博客园、微博、百度贴吧、豆瓣电影、包图网、全景网、豆瓣音乐、某省药监局、搜狐新闻、机器学习文本采集、fofa资产采集、汽车之家、国家统计局、百度关键词收录数、蜘蛛泛目录、今日头条、豆瓣影评️️️。微信爬虫展示项目:
鬼画符/templatespider
2.9K
扒网站工具，看好哪个网站，指定好URL，自动扒下来做成模版。所见网站，皆可为我所用！
kanasimi/work_crawler
42
小说漫画下载工具:腾讯漫画 大角虫漫画 有妖气 知音漫客 咪咕 SF漫画 哦漫画 看漫画 漫画柜 漫画160 汗汗酷漫 動漫伊甸園 网易漫画 快看漫画 微博动漫 733动漫网 大古漫画网 漫画DB 動漫狂 卡推漫画 动漫之家 动漫屋 土豪漫画 古风漫画网 36漫画网 亲亲漫画网 360漫画 乙女漫画 comico webtoons 咚漫 OVERLAP MAGCOMI ComicWalker ヤングエースUP モアイ pixivコミック サイコミ;アルファポリス カクヨム ハーメルン 小説家になろう 卡提諾論壇 起点中文网 八一中文网 顶点小说 落霞小说网 努努书坊 笔趣阁→epub. Download online novels, comics. 小說漫畫下載
tikazyq/crawlab
778
Crawlab 是一个使用 Golang 开发的分布式爬虫管理平台，支持Python、NodeJS、Go、Java、PHP等多种编程语言以及多种爬虫框架
fffonion/JJGet
31
晋江小说下载器 镜像自 https://github.com/fffonion/jjget
Vanishi/DS
298
一个Qt开发的可以替代爬虫的网页数据采集软件，它最重要的特点就是，降低了采集网页数据的门槛，由至少必须掌握一门编程语言降低到只要会操作电脑即可。
ecitlm/Node-SpliderApi
539
基于node+express爬虫 API接口项目,包括全国高校信息、成语诗歌、星座运势、历史的今天、音乐数据接口、图片壁纸、搞笑视频、热点新闻资讯 详情接口数据
zorlan/蓝天采集器
806
蓝天采集器是一款开源免费的爬虫系统，仅需点选编辑规则即可采集数据，可运行在本地、虚拟主机或云服务器中，几乎能采集所有类型的网页，无缝对接各类CMS建站程序，免登录实时发布数据，全自动无需人工干预！是网页大数据采集软件中完全跨平台的云端爬虫系统
点此查找更多帮助

搜索帮助

Git 命令在线学习 如何在 Gitee 导入 GitHub 仓库
Git 仓库基础操作
企业版和社区版功能对比
SSH 公钥设置
如何处理代码冲突
仓库体积过大，如何减小？
如何找回被删除的仓库数据
Gitee 产品配额说明
GitHub仓库快速导入Gitee及同步更新
什么是 Release（发行版）
将 PHP 项目自动发布到 packagist.org
回到顶部