所有star的仓库都会放在这里。可以根据需求创建不同的星选集来管理它们。
牛咖-neocrawler
nodejs 的爬虫系统。
特点:
支持web界面方式的摘取规则配置(css selector & regex);
包含无界面的浏览器引擎(phantomjs),支持js产生内容的抓取;
用http代理路由的方式防止抓取并发量过大的情况下被对方屏蔽;
nodejs none-block 异步环境下的抓取性能比较高;
中央调度器负责网址的调度(同一时间片内一定数量的抓取任务中根据网站的权重来决定派发任务量;
支持多种抓取实例并存,定制摘取引擎和存储方式。
最近更新:
接近7年前
基于 vue2 + vuex 构建一个具有 45 个页面的大型单页面应用
最近更新:
7年前
基于Thinkphp开发的视频弹幕网站,采用ffmpeg h264转码以及CCL核心弹幕库
最近更新:
接近8年前
基于python3+pyqt5编写的网站登录器
最近更新:
8年多前
网易微博、百度、Google、微软、Instagram、Facebook、360、GitHub、淘宝等平台的账号登录及api操作,使用oauth 2.0。官方提供的sdk都太过庞大,这是我自己简化的,提供简单的账号登录、获取个人信息、发布微博等功能,如果需要其他功能可以根据官方的api文档自行添加。
最近更新:
10年前