登录 注册
开源 企业版 高校版 私有云 Gitee AI NEW
WEB应用开发
/
Web爬虫
Apache-2.0
全部项目 MulanPSL-2.0 0BSD AFL-3.0 AGPL-3.0 Artistic-2.0 BSD-2-Clause BSD-3-Clause BSD-3-Clause-Clear BSL-1.0 CC-BY-4.0 CC-BY-SA-4.0 CC0-1.0 ECL-2.0 EPL-1.0 EPL-2.0 EUPL-1.1 EUPL-1.2 GPL-2.0 GPL-3.0 ISC LGPL-2.1 LGPL-3.0 LPPL-1.3c MIT MPL-2.0 MS-PL MS-RL MulanPSL-1.0 MulanPubL-1.0 MulanPubL-2.0 NCSA OFL-1.1 OSL-3.0 PostgreSQL UPL-1.0 Unlicense WTFPL Zlib
全部语言
Java JavaScript HTML CSS Python Shell C C++ PHP C# TypeScript Go Objective-C Android Kotlin Ruby Assembly Swift NodeJS Perl Dart Lua Matlab 其他 Rust PowerShell HTML/CSS 微信 Scala Groovy C/C++ XSLT Verilog R QML Docker Pascal CoffeeScript FORTRAN Erlang ActionScript Emacs Lisp Smalltalk SQL Delphi TeX/LaTeX VHDL ASP Visual Basic M Clojure Common Lisp Haskell Awk LiveScript Elixir Scheme Julia 易语言 OCaml Puppet AutoHotkey YAML Ada Pawn Standard ML D XML Arduino Logos VimL Prolog 汇编 Haxe ColdFusion Vala Crystal Scilab Coq Racket Lisp Slash Eiffel eC DOT Zephir Nemerle
Stars
Stars 最新推荐 最近更新

乾坤盒子/MongooCrawler

174
一款低入侵分布式爬虫框架，仅仅依赖少量第三方包，具有多进程多线程，集成反爬、验证码破解方案，自由定制，cookie自动管理，多数据源支持（database，nosql，es），客户端-服务端分离（充分利用ip）集群支持等特性）
Java
Web爬虫
|
3年多前
13122 fotomxq 1578914887

fotomxq/collmz

160
使用golang实现，采集各种网站妹子图库和本地类似数据的程序，浏览器可访问采集器和相关数据，可部署到服务器或本地直接运行。
Go
Web爬虫
|
7年多前
1722256 shenyangpy 1578990985

沈阳程序员/Scrapy-Python

123
Scrapy：网站爬虫框架库抓取
Python
Web爬虫
|
4年前

樊勇/jvppeteer

112
Java Headless 浏览器 抓取页面
Java
Web爬虫
|
接近3年前
572993 wgs123 1578928034

Gwenson/Gwenson-robot

99
这是一个使用JAVA语言开发的应用级的分布式爬虫搜索引擎机器人
Java
Web爬虫
|
5年多前
1426388 ironzheng 1610521753

西门吹雪/pikachu

85
去吧皮卡丘，为什么取个名字叫皮卡丘，大概是这样萌一些。小哥哥是很可爱的。然后本项目是个爬虫项目，使用时候就像派出小精灵一样，派出皮卡丘，就会为你抓回对应的数据。
Java
Web爬虫
|
接近4年前
324379 zhangyingwei 1578919975

Microgoople/cockroach

84
又一个 java 爬虫
Java
Web爬虫
|
4年多前
4870333 golddata 1578976096

takemefly/golddata-spider

78
1、规则简洁灵活易读易写 2、可反复采集数据而不产生重复 3、可同时将数据及数据关系采集融合 4、支持ajax 5、文档和培训视频齐全 。其核心代码从GoldData平台分离而来
Groovy
Web爬虫
|
5年前
428059 sdc2012 1578923507

夕阳雨晴/zhihu-spider

74
Spring Boot项目框架，结合多种开源技术，知乎信息中转持久化的数据流平台，并提供HTML+JSON和RabbitMQ等消息接口，从而使有兴趣的伙伴开发并使用其熟悉的语言环境，实现信息爬取，从而持久化到此项目中来，完成最开始的开发目标。
Java
Web爬虫
|
6年多前
350412 henrylee2cn 1642264915

andeyalee/surfer

70
surfer [high level concurrency downloader] 是一款Go语言编写的高并发爬虫下载器，拥有surf与phantom两种下载内核，支持固定UserAgent自动保存cookie与随机大量UserAgent禁用cookie两种模式，高度模拟浏览器行为，可实现模拟登录等功能。
Go
Web爬虫
|
4年多前
1646371 tyoui 1578956781

Jtyoui/sogou

63
最新代码链接:码云上不在更新
Java
Web爬虫
|
5年多前

无极小子/SeimiCrawler

60
分布式敏捷的爬虫框架
Java
Web爬虫
|
6年前
673473 1967988842 1609901731

ggymm/Spider2.0

58
使用JCEF（chromium内核）开发的抓取数据浏览器，可以用来制作浏览器，也可以用来制作爬虫。
Java
Web爬虫
|
4年前
80950 hcxy 1578916693

xinshengsiyu/WechatSpider

53
java抓取微信最新推送内容
Java
Web爬虫
|
7年前
94173 daqiangge 1578917213

大强哥/SpiderV

48
java编写的带有web管理后台的抓取程序，自动生成搜索URL，简单实现数据抽取即可，支持多机，任务定时自动运行等功能，提供各种扩展点，适应各种情况
Java
Web爬虫
|
接近10年前
今日热门
本周热门
AJay13/ECommerceCrawlers
4.3K
实战多种网站、电商数据爬虫。包含：淘宝商品、微信公众号、大众点评、招聘网站、闲鱼、阿里任务、scrapy博客园、微博、百度贴吧、豆瓣电影、包图网、全景网、豆瓣音乐、某省药监局、搜狐新闻、机器学习文本采集、fofa资产采集、汽车之家、国家统计局、百度关键词收录数、蜘蛛泛目录、今日头条、豆瓣影评️️️。微信爬虫展示项目:
ssssssss-team/spider-flow
7.6K
新一代爬虫平台，以图形化方式定义爬虫流程，不写代码即可完成爬虫。
ecitlm/Node-SpliderApi
540
基于node+express爬虫 API接口项目,包括全国高校信息、成语诗歌、星座运势、历史的今天、音乐数据接口、图片壁纸、搞笑视频、热点新闻资讯 详情接口数据
自由自在的小鱼/new_DMNovel
34
重新构建DMNovel
AJay13/ECommerceCrawlers
4.3K
实战多种网站、电商数据爬虫。包含：淘宝商品、微信公众号、大众点评、招聘网站、闲鱼、阿里任务、scrapy博客园、微博、百度贴吧、豆瓣电影、包图网、全景网、豆瓣音乐、某省药监局、搜狐新闻、机器学习文本采集、fofa资产采集、汽车之家、国家统计局、百度关键词收录数、蜘蛛泛目录、今日头条、豆瓣影评️️️。微信爬虫展示项目:
鬼画符/templatespider
2.9K
扒网站工具，看好哪个网站，指定好URL，自动扒下来做成模版。所见网站，皆可为我所用！
Vanishi/DS
299
一个Qt开发的可以替代爬虫的网页数据采集软件，它最重要的特点就是，降低了采集网页数据的门槛，由至少必须掌握一门编程语言降低到只要会操作电脑即可。
tikazyq/crawlab
778
Crawlab 是一个使用 Golang 开发的分布式爬虫管理平台，支持Python、NodeJS、Go、Java、PHP等多种编程语言以及多种爬虫框架
fffonion/JJGet
31
晋江小说下载器 镜像自 https://github.com/fffonion/jjget
自由自在的小鱼/new_DMNovel
34
重新构建DMNovel
ecitlm/Node-SpliderApi
540
基于node+express爬虫 API接口项目,包括全国高校信息、成语诗歌、星座运势、历史的今天、音乐数据接口、图片壁纸、搞笑视频、热点新闻资讯 详情接口数据
点此查找更多帮助

搜索帮助

Git 命令在线学习 如何在 Gitee 导入 GitHub 仓库
Git 仓库基础操作
企业版和社区版功能对比
SSH 公钥设置
如何处理代码冲突
仓库体积过大，如何减小？
如何找回被删除的仓库数据
Gitee 产品配额说明
GitHub仓库快速导入Gitee及同步更新
什么是 Release（发行版）
将 PHP 项目自动发布到 packagist.org
回到顶部
53164aa7 5694891 3bd8fe86 5694891