Airbyte 是一个开放源代码的平台,可帮助用户将数据从应用程序,API 和数据库中同步到仓库
GuaZi_Spider 瓜子二手车 scrapy 爬虫,突破瓜子网反爬实践。
在数据仓库建设中,经常会使用到数据血缘追踪方面的功能,本项目实现了对hql集合进行静态分析,获取hql对应的血缘图(表血缘 + 字段血缘)
PageNow大数据可视化开发平台_开源版,基于SprigBoot+Vue构建的数据可视化开发平台,灵活的拖拽式布局、支持多种数据源、丰富的通用组件
大数据平台数据服务框架。实现了Kafka实时数据过滤、清洗、转换、消费,实现了Spark SQL对Redis、MongoDB等非关系型数据库的数据的读写;集成了规则引擎,可基于规则引擎实现客户标签、画像等相关功能。
混合型科学大数据流水线系统,包含丰富的处理器组件,提供Shell、DSL、Web配置界面、任务调度、任务监控等功能
大师兄股票实时行情分发客户端-一键启动,支持实时行情,分时图,日 K线,周K,月K,分钟K线,搜索库,行业概念区域板块涨幅,个股涨幅榜,财务数据,除权分红配送数据
1.中国5级行政区域联动(Mysql/MongoDB版)2.身份证信息3.近5年全国各个省市区的天气信息4.汽车牌照信息5.历史上的今天
数据库结构变更自定义同步工具(数据无损)