collate-center

项目介绍

交易系统都需要进行对账处理，在对于对接多个第三方的交易对账时，由于各方的对账文件的类型各不相同（txt、csv、excel等）,各个对接的第三方对账文件的字段个数，字段名称，字段间的分隔字符都不相同。为了实现一个统一的对账平台，不需要每次对接一个对账任务时重新开发代码。

软件架构

• 采用springboot快速开发的web应用
• 采用quartz对任务进行动态的管理
• 采用springbatch进行的对账文件的解析、以及对账任务的流程处理
• 采用redis进行集合的比对，用来做对账处理

安装教程

1. 执行sql脚本
2. 配置数据源--写入datasource_config表
3. 配置对账任务--写入collate_config表
4. 启动redis集群--默认redis采用集群模式，如单机模式在@EnableRedisClient上配置mode="single"

使用说明

1. sftp服务器在配置文件中以sftp.[targetServer].xxx来配置，targetServer在对账任务配置时配置，不同对接方不同的sftp服务器地址
2. targetFieldMapper需按对账文件的字段顺序以","逗号分隔
3. keyword为对账的关联字段
4. expression为需要比对值的字段以","逗号分隔
5. 【特别约定】所有比对的字段均以实际字段来配置。即关联字段、比对字段均需要在对账文件字段或者数据库字段中存在。

TODO List

1. 数据分片，目前全量查询和全量入redis。（OOM和redis的性能问题）
2. 根据配置的对账字段做数值比较（比较简单，已实现关联字段的比对，只需根据配置拼接key即可）
3. 对账结果写入数据库（懒了）