登录 注册
开源 企业版 高校版 私有云 Gitee AI NEW
WEB应用开发
/
Web爬虫
开源许可
MulanPSL-2.0 0BSD AFL-3.0 AGPL-3.0 Apache-2.0 Artistic-2.0 BSD-2-Clause BSD-3-Clause BSD-3-Clause-Clear BSL-1.0 CC-BY-4.0 CC-BY-SA-4.0 CC0-1.0 ECL-2.0 EPL-1.0 EPL-2.0 EUPL-1.1 EUPL-1.2 GPL-2.0 GPL-3.0 ISC LGPL-2.1 LGPL-3.0 LPPL-1.3c MIT MPL-2.0 MS-PL MS-RL MulanPSL-1.0 MulanPubL-1.0 MulanPubL-2.0 NCSA OFL-1.1 OSL-3.0 PostgreSQL UPL-1.0 Unlicense WTFPL Zlib
Java
全部语言 JavaScript HTML CSS Python Shell C C++ PHP C# TypeScript Go Objective-C Android Kotlin Ruby Assembly Swift NodeJS Perl Dart Lua Matlab 其他 Rust PowerShell HTML/CSS 微信 Scala Groovy C/C++ XSLT Verilog R Docker QML Pascal CoffeeScript FORTRAN Erlang ActionScript Emacs Lisp Smalltalk SQL Delphi TeX/LaTeX VHDL ASP Visual Basic M Clojure Common Lisp Haskell Awk LiveScript Elixir Scheme 易语言 Julia OCaml Puppet YAML AutoHotkey Ada Pawn Standard ML D XML Arduino Logos VimL Prolog 汇编 Haxe ColdFusion Vala Crystal Scilab Coq Racket Lisp Slash Eiffel eC DOT Zephir Nemerle
最近更新
Stars 最新推荐 最近更新
5423276 lin zhao quan 1655778434

linzhaoquan/xx小说阅读网站

525
springboot【小说阅读网站】，多线程抓取小说数据(单本或者批量)，持久化到MySQL数据库，能定时跟源站数据同步=小说定时更新。通过jsoup采集数据到mysql数据，redis作为缓存框架，减轻服务器压力。部署在linux，网站UI套纵横中文网！
Java
Web爬虫
|
17天前
9184950 stonedtx 1643009227

思通数科 StoneDT/Open-Spider

186
不懂数据采集技术，也可轻松采集海量数据！简单易上手，人人可用的数据采集工具！
网络爬虫
Spider
数据采集
分布式
抖音
Java
Web爬虫
|
2个月前
2040377 code4everything 1578991454

code4everything/visual-spider

220
欢迎体验我们全新的桌面端效率工具RunFlow，https://myrest.top/myflow
Java
Web爬虫
|
2个月前
1981977 taisan 1591943162

taishan/微信文章爬虫 Reptile

121
爬虫项目，微信公众号文章爬虫，网站文章爬虫，群发邮件系统
微信公众号爬虫
Java
Web爬虫
|
3个月前
117 l weiwei 1578913730

自风/Spiderman2

2.1K
二代蜘蛛侠，此版本完全重新开发，比上一代更加强大（性能，易用，架构，分布式，简洁，成熟）
Java
Web爬虫
|
6个月前
429922 mail osc 1578923571

鬼画符/templatespider

2.9K
扒网站工具，看好哪个网站，指定好URL，自动扒下来做成模版。所见网站，皆可为我所用！
Java
Web爬虫
|
7个月前
121703 javacoo 1578918498

javacoo/CowSwing

278
丑牛迷你采集器是一款基于Java Swing开发的专业的网络数据采集/信息挖掘处理软件，通过灵活的配置，可以很轻松迅速地从 网页上抓取结构化的文本、图片、文件等资源信息，可编辑筛选处理后选择发布到网站
Java
Web爬虫
|
8个月前
117 l weiwei 1578913730

自风/Spiderman

3.5K
强力 Java 爬虫，列表分页、详细页分页、ajax、微内核高扩展、配置灵活
Java
Web爬虫
|
1年前
378604 xuxueli0323 1578922035

许雪里/xxl-crawler

465
一个分布式爬虫框架。一行代码开发一个分布式爬虫，拥有"多线程、异步、IP动态代理、分布式、JS渲染"等特性；
Java
Web爬虫
|
1年多前
471 flashsword20 1578913802

黄亿华/webmagic

GVP
4.8K
webmagic 是一个无须配置、便于二次开发的爬虫框架，它提供简单灵活的API，只需少量代码即可实现一个爬虫。
Java
Web爬虫
|
接近2年前

MountFuji/easycrawl

188
基于webmagic的通用爬虫抓取应用，核心在于简单易用，搭建好后轻松抓取数据
Java
Web爬虫
|
接近2年前

Ticsmyc/2019nCoV-Crawler

175
定时爬取丁香园冠状病毒新型肺炎疫情实时数据，并持久化到MySQL数据库做 数据比对，当数据发生变化时向用户推送邮件通知
Java
Web爬虫 新冠病毒相关开源
|
2年前
400404 zhiyubujian 1578922729

易水风萧/wind-bell

613
风铃虫是一款轻量级的高效爬虫工具，配置简单，方便二次开发，能抓取js渲染的网页，可以抓取任何数据，支持保存网页快照，智能防封杀，天然适合分布式。
开源
Java
Web爬虫
|
2年前
291351 ssssssss team 1589614030

ssssssss-team/spider-flow

GVP
7.6K
新一代爬虫平台，以图形化方式定义爬虫流程，不写代码即可完成爬虫。
Java
Web爬虫
|
2年多前

bronson/cetty

6
一个轻量级的基于事件分发的爬虫框架
Java
Web爬虫
|
2年多前
今日热门
本周热门
ssssssss-team/spider-flow
7.6K
新一代爬虫平台，以图形化方式定义爬虫流程，不写代码即可完成爬虫。
黄亿华/webmagic
4.8K
webmagic 是一个无须配置、便于二次开发的爬虫框架，它提供简单灵活的API，只需少量代码即可实现一个爬虫。
linzhaoquan/xx小说阅读网站
525
springboot【小说阅读网站】，多线程抓取小说数据(单本或者批量)，持久化到MySQL数据库，能定时跟源站数据同步=小说定时更新。通过jsoup采集数据到mysql数据，redis作为缓存框架，减轻服务器压力。部署在linux，网站UI套纵横中文网！
鬼画符/templatespider
2.9K
扒网站工具，看好哪个网站，指定好URL，自动扒下来做成模版。所见网站，皆可为我所用！
思通数科 StoneDT/Open-Spider
186
不懂数据采集技术，也可轻松采集海量数据！简单易上手，人人可用的数据采集工具！
wycm/zhihu-crawler
291
zhihu-crawler是一个基于Java的爬虫实战项目，主要功能是抓取知乎用户的基本资料。
许雪里/xxl-crawler
465
一个分布式爬虫框架。一行代码开发一个分布式爬虫，拥有"多线程、异步、IP动态代理、分布式、JS渲染"等特性；
liinux/ghost-login
547
专门用来解决爬虫采集相关网站数据时模拟自动登录，验证码自动识别的问题；欢迎加入一起开发完善。
代码神童/YayCrawler
1.3K
分布式爬虫系统，简单使用，高级配置。可扩展，减轻开发量，能docker化，适应各种急切需求核心框架：WebMagic, Spring Boot ，MongoDB, ActiveMQ ,Spring + Quartz，Spring Jpa ， Druid，Redis， Ehcache ，SLF4J、Log4j2， Bootstrap + Jquery 等，不详细列举了
自风/Spiderman2
2.1K
二代蜘蛛侠，此版本完全重新开发，比上一代更加强大（性能，易用，架构，分布式，简洁，成熟）
ssssssss-team/spider-flow
7.6K
新一代爬虫平台，以图形化方式定义爬虫流程，不写代码即可完成爬虫。
黄亿华/webmagic
4.8K
webmagic 是一个无须配置、便于二次开发的爬虫框架，它提供简单灵活的API，只需少量代码即可实现一个爬虫。
鬼画符/templatespider
2.9K
扒网站工具，看好哪个网站，指定好URL，自动扒下来做成模版。所见网站，皆可为我所用！
linzhaoquan/xx小说阅读网站
525
springboot【小说阅读网站】，多线程抓取小说数据(单本或者批量)，持久化到MySQL数据库，能定时跟源站数据同步=小说定时更新。通过jsoup采集数据到mysql数据，redis作为缓存框架，减轻服务器压力。部署在linux，网站UI套纵横中文网！
思通数科 StoneDT/Open-Spider
186
不懂数据采集技术，也可轻松采集海量数据！简单易上手，人人可用的数据采集工具！
自风/Spiderman2
2.1K
二代蜘蛛侠，此版本完全重新开发，比上一代更加强大（性能，易用，架构，分布式，简洁，成熟）
自风/Spiderman
3.5K
强力 Java 爬虫，列表分页、详细页分页、ajax、微内核高扩展、配置灵活
代码神童/YayCrawler
1.3K
分布式爬虫系统，简单使用，高级配置。可扩展，减轻开发量，能docker化，适应各种急切需求核心框架：WebMagic, Spring Boot ，MongoDB, ActiveMQ ,Spring + Quartz，Spring Jpa ， Druid，Redis， Ehcache ，SLF4J、Log4j2， Bootstrap + Jquery 等，不详细列举了
xtuhcy/Gecco
2.1K
Gecco 是一款用java语言开发的轻量化的易用的网络爬虫，整合了jsoup、httpclient、fastjson、spring、htmlunit、redission等优秀框架。
xautlx/nutch-ajax
100
基于Apache Nutch和Solr以及Htmlunit, Selenium WebDriver等组件扩展，实现对于AJAX加载类型页面的完整页面内容爬取、解析、清洗、持久化、全文检索等处理
点此查找更多帮助

搜索帮助

Git 命令在线学习 如何在 Gitee 导入 GitHub 仓库
Git 仓库基础操作
企业版和社区版功能对比
SSH 公钥设置
如何处理代码冲突
仓库体积过大，如何减小？
如何找回被删除的仓库数据
Gitee 产品配额说明
GitHub仓库快速导入Gitee及同步更新
什么是 Release（发行版）
将 PHP 项目自动发布到 packagist.org
回到顶部