dwh-soft

介绍

用来存放dwh服务同步组件的程序包 该程序主要用于解决 mysql/mariadb 同步到 PG\Mysql 等场景的用途，目的是把PG当成读库来操作，全程自动化，类似于读写分离的效果

软件架构

使用java开发的二进制程序包，基于web应用程序架构。
无需连接外网，可断网模式运行，本机启动即可运行的web应用程序包 类似于阿里云的 dts 数据同步服务(腾讯、字节跳动都有类似服务)，也可以用于 mysql 数据不停机服务线下、线上的迁移和实时同步，或海外机房同步等，可节约大量资金

架构补充 前端框架采用的是MIT协议的 pearAdmin UI
后端框架采用 quarkus 框架 + 数据操作组件 edb

安装教程

初始化admin账号密码(可修改): dwh/123456

windows

# 下载 dwh-1.0.4-windows.zip 解压后，放到您指定的目录下启动即可
# 如果需要修改默认端口号，则需要通过 cmd 或 linux控制台指定端口号(Dquarkus.http.port) , 否则直接启动即可
# 默认端口访问地址： http://127.0.0.1:11306/dwh/login
./dwh-1.0.4.exe -Dquarkus.http.port=11306

linux centos7(推荐)

# 建议使用 centos7 或以上版本
# 下载 dwh-1.0.4-linux.zip 解压后，放到您指定的目录下启动即可
# 设置文件为可启动文件
chmod 777 ./dwh-1.0.4
# 使用screen后台模式
yum -y install screen
# 启动一个窗口
screen -S dwh
# 启动服务（无需后台挂起 ctrl+z ,然后后台模式 bg）
# 默认端口访问地址： http://127.0.0.1:11306/dwh/login
./dwh-1.0.4 -Dquarkus.http.port=11306
# screen会话中：快捷键 ctrl+a+d ，退出会话，将会话切换到后台运行,这样子退出sshd控制台时，服务能正常运行，不影响服务的运行

使用说明

首次使用时，输入初始化账号密码: dwh/123456 ,
然后打开【数据同步】-【任务管理】，点击【创建任务】创建迁移同步任务即可
第一次使用时，直接迁移测试用的小数据库，然后点击同步即可。
当然，如果您熟悉了这套软件，也可以直接用于生产迁移数据，但是建议是从有读写分离的负载库上迁移，减少数据库的影响
同时也支持，您自己手工指定对应的 binlog 日志节点，进行指定数据同步
dwh mysql同步软件介绍
软件使用讲解
dwh同步软件使用教程-图文

参与贡献

因为刚开始，所以短期内可能不会有太大变动的内容，有紧急诉求的伙伴，可以通过公众号单独在后台留下联系方式，我看到后会及时联系 公众号

特技

mysql 无人值守全量全库自动同步到Postgresql数据库，实现异构数据库读库功能 mysql 实现数据迁移、同步到 mysql、mariadb、postgresql、kafka等数据存储点 一键增加Mysql常用兼容函数 if、ifnull、group_concat、find_in_set、sysdate()、date_format ps: kafka 模块没有经过严格验证，后续我再完善下，其他模块都是经过了百分百的时间论证过的结果，总耗时5年左右完成的稳定异构数据库同步，目前这个版本是第三代版本，所以实际上还有很多同步模块的功能并没有实现，但是这个工具的价值就在于异构数据库的同步，有其他诉求的可以留言，有场景化了，才继续延申扩展

mysql 数据类型支持

部分软件截图

登录页

同步功能页

导入功能页

同步功能属性项

系统告警通知功能

异常定位

可关注公众号私信