Byzer (former MLSQL) is a low-code, open-sourced and distributed programming language for data pipeline, analytics and AI in cloud native way.
Fire框架是由中通大数据自主研发并开源的、专门用于进行Spark和Flink任务开发的大数据框架,可节约70%以上的代码量。首创基于注解进行Spark和Flink任务开发,具备实时血缘、根因诊断、动态调优、参数热调整等众多平台化功能。Fire框架在中通内部每天处理数据量高达数千亿,在外部已被数十家公司所使用。
个人本科毕业设计,主要内容:
1、使用Chisel设计的,仅支持RV64I的处理器MyCPU;
2、使用C编写的,专用的极简操作系统MyOS;
3、本科期间的发明专利,适用于卷积神经网络的一种浮点数据格式ByteFloat;
4、基于MNIST数据集,自己用纯C写的手写体识别小程序MyCNN;
5、在MyCPU上面运行MyOS,再在MyOS上面跑应用了ByteFloat的MyCNN。
本人瓜哥,在IT行业摸爬滚打10+年,起始编程语言为Java,在该行业多年中,也积累了分布式系统、微服务、K8S容器编排、大数据、数据仓库等相关的项目经验。这是本人学习和总结的一些大数据相关知识点。希望大家共同学习提高。
商用产品开源,包括用户埋点数据采集、用户标签分群和画像、智慧运营、营销等。项目采用Nginx+Flume+kafka实现日志收集,Flink进行实时流处理,ClickHouse作为实时数仓,HDFS作为数据备份。
项目帮用户快速搭建CDP客户数据平台,实现对移动端数据分析、用户行为分析、用户标签画像和在线营销。完美兼容神策埋点SDK、友盟埋点SDK和其他终端埋点包。快速对接、快速应用。
在pynq-z1上实现RISC-V处理器Rocket-Chip,并在其上添加各种外设。
Visualis是一个基于宜信的开源项目Davinci开发的数据可视化BI工具。现已被集成到数据应用开发门户DataSphere Studio中。
Visualis支持拖拽式报表定义、图表联动、钻取、全局筛选、多维分析、实时查询等数据开发探索的分析模式,并做了水印、数据质量校验等金融级增强。
人人都会用的数据集成产品,并提供一站式、开箱即用的 DataOps 数据中台,大幅提高ETL实时数仓构建效率