同步操作将从 小螺旋丸/数睿通数据中台 强制同步,此操作会覆盖自 Fork 仓库以来所做的任何修改,且无法恢复!!!
确定后同步将在后台操作,完成时将刷新页面,请耐心等待。
srt-cloud 是采用 Vue3,Ts,Spring Cloud Alibaba、SpringSecurity、Spring Cloud Gateway、SpringBoot、Nacos、Redis、Mybatis-Plus,Tidb,Flink,Hadoop 等最新技术,开发的全新数睿通数据中台,包含数据集成(完成),数据开发(完成),数据治理,数据资产,数据服务,数据集市六大模块,解决数据孤岛问题,实现数据统一口径标准,自定义数据开发任务,帮助企业,政府等解决数据问题!
目前全局管理,应用管理,日志管理,系统管理,数据集成,数据开发,数据服务几大模块已基本完毕。
该系统主要基于 Flink + TiDB 构建准实时数仓,进行数据同步,流转,计算和分析处理,下面是 Flink 和 TiDB 的相关说明:
Flink 是一个低延迟、高吞吐、流批统一的大数据计算引擎,被普遍用于实时性场景下的计算统计和分析。
在集成了 TiFlash 之后,TiDB 已经成为了真正的 HTAP(在线事务处理 OLTP + 在线分析处理 OLAP)数据库。换句话说,在实时数仓架构中,TiDB 既可以作为数据源的业务数据库,进行业务查询的处理;又可以作为实时 OLAP 引擎,进行分析型场景的计算。
结合了 Flink 与 TiDB 两者的特性,Flink+ TiDB 的方案的优势也体现了出来:首先是速度有保障,两者都可以通过水平扩展节点来增加算力;其次,学习和配置成本相对较低,因为 TiDB 兼容 MySQL 5.7 协议,而最新版本的 Flink 也可以完全通过 Flink SQL 和强大的连接器(connector)来编写提交任务,节省了用户的学习成本。
相比传统数仓(Hadoop + Hive ),除了进行常规的批量计算,还可以满足实时计算的需求。
数仓整体架构图如下:
关于数仓为什么要分层:分层可以有助于数据的管理,同时每次取数只需要获取统计分析过的成品就可以,不需要从源头数据反复计算,避免了计算资源的浪费,通常源头数据量较大,并且中间的处理逻辑较为复杂,所以采用建模分层的方式解决,通常表的前缀都用层级来定义。
前台:
后台:
需要从GitHub下载Nacos,下载地址:https://github.com/alibaba/nacos/releases 下载2.1.1版本,因为本项目使用的是Nacos 2.1.1,如果版本号对应不上,后面项目启动会出错。
注意:Nacos 目前只支持MySQL数据库,请安装MySQL8.0版本,以免出现其他错误。
新建数据库nacos_config,并运行【conf/nacos-mysql.sql】文件,初始化数据库即可。
需要在【conf/application.properties】文件末尾,新增如下配置:
# 填自己的ip地址,本地填127.0.0.1就行
nacos.inetutils.ip-address=127.0.0.1
spring.datasource.platform=mysql
db.num=1
#填自己的数据库连接和密码
db.url.0=jdbc:mysql://127.0.0.1:3306/nacos_config?characterEncoding=utf8&connectTimeout=1000&socketTimeout=3000&autoReconnect=true&useUnicode=true&useSSL=false&serverTimezone=UTC
db.user.0=root
db.password.0=root
Windows:
startup.cmd -m standalone
Linux:
sh startup.sh -m standalone
# 集群启动可关注公众号 螺旋编程极客 查看
访问Nacos管理界面(http://localhost:8848/nacos) ,初始用户名nacos,密码nacos,登录之后,如下所示:
创建 srt_cloud
数据库,数据库编码为utf8mb4
执行db/srt_cloud.sql
文件,初始化数据库脚本
创建 srt_data_warehouse
数据库(数仓使用,应该搭建tidb(官网有教程),测试可以直接使用mysql数据库)
导入Nacos配置文件,配置文件在项目里,文件名为:【deploy/nacos_config.zip】,如下所示:
导入配置文件后,还需要在Nacos里,修改datasource.yaml,如:Redis、MySQL信息等。
把系统导入 idea,导入完 maven 依赖之后,依次启动:
运行 GatewayApplication.java
运行 SystemApplication.java
运行 DataIntegrateApplication.java
运行 DataDevelopmentApplication.java
运行 DataServiceApplication.java
运行 QuartzApplication.java
运行 MessageApplication.java
安装版本号为16.15.0
的nodejs
,如果已经安装了,请先卸载,推荐使用 nvm 安装 node.js,方便切换不同版本
nodejs
卸载,然后再下载nvm,地址:
https://github.com/coreybutler/nvm-windows/releases
nvm-setup.exe
文件就可以了,下载后,我们双击安装即可。PowerShell
打开命令行,这里需要注意下,要使用管理员
身份打开PowerShell
nvm version
,可以查看版本号nvm ls available
查看nodejs
可用的版本nvm install 16.15.0
,可以安装版本号为16.15.0
的nodejs
nvm list
,可以查看已安装的版本号nvm use 16.15.0
,可以切换到版本号为16.15.0
的nodejs
,现在就可以通过命令node -v
查看当前的nodejs
版本号nvm uninstall 16.15.0
,可以卸载版本号为16.15.0
的nodejs
用 vscode 或 hbuildx 打开 srt-cloud-web
安装依赖:
npm install
运行项目:
npm run dev
打包项目
npm run build
源码只开源了数据集成部分,并且前端界面目前是打包后放在了 gateway 模块的 static 目录下,直接访问 localhost:8082 即可查看运行效果,其他暂时没有开源,毕竟开发起来并不容易,会收取点辛苦费用,希望大家可以理解。
想要 完整前后台源码 的朋友请关注公众号 螺旋编程极客 获取,同时提供 程序部署指南,系统使用讲解录屏,源码讲解录屏 等,平台在不断更新,不断完善之中,感谢您的支持与关注。
此处可能存在不合适展示的内容,页面不予展示。您可通过相关编辑功能自查并修改。
如您确认内容无涉及 不当用语 / 纯广告导流 / 暴力 / 低俗色情 / 侵权 / 盗版 / 虚假 / 无价值内容或违法国家有关法律法规的内容,可点击提交进行申诉,我们将尽快为您处理。