(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211018779.0 (22)申请日 2022.08.24 (71)申请人 浪潮卓数 大数据产业发展 有限公司 地址 214002 江苏省无锡市无锡经济开发 区金融一街15号1101、 1102、 1103、 1104、 1105、 1106、 1107、 1108 (72)发明人 李沅泽　赵海兴　赵子墨　傅玉鑫　 (74)专利代理 机构 北京君慧知识产权代理事务 所(普通合伙) 11716 专利代理师 肖鹏 (51)Int.Cl. G06F 16/21(2019.01) G06F 16/25(2019.01) G06F 16/27(2019.01) G06F 9/48(2006.01) (54)发明名称 一种基于消息 队列的数据迁移方法、 装置、 设备及介质 (57)摘要 本申请公开了一种基于消息队列的数据迁 移方法、 装置、 设备及介质， 方法包括： 确定数据 迁移任务对应的源数据库、 源数据以及目标数据 库； 确定源 数据库以及目标数据库分别对应的数 据库种类； 根据数据库种类， 对源数据进行转换 处理， 以得到中间数据； 将中间数据存入消息队 列中； 通过预设的导入程序， 将中间数据导入至 目标数据库中。 能够借助数据处理和转换程序对 数据的格式进行转换， 以适用于不同种数据库之 间的数据迁移和同步。 可以借助消息队列的特 点， 来实现异步的数据迁移和同步。 该方法将会 通过网络服务的形式部署到服务器上， 可以在不 同的地理位置通过网络连接来很方便的调用该 服务。 权利要求书2页 说明书6页 附图2页 CN 115374086 A 2022.11.22 CN 115374086 A 1.一种基于消息队列的数据迁移方法， 其特 征在于， 包括： 确定数据迁移任务对应的源数据库、 源数据以及目标 数据库； 确定所述源数据库以及所述目标 数据库分别对应的数据库种类； 根据所述数据库种类， 对所述源数据进行转换处 理， 以得到中间数据； 将所述中间数据存 入消息队列中； 通过预设的导入程序， 将所述中间数据导入至所述目标 数据库中。 2.根据权利要求1所述的方法， 其特征在于， 所述根据所述数据库种类， 对所述源数据 进行转换处 理， 具体包括： 确定所述源数据库对应的第一数据库种类以及所述目标数据库对应的第二数据库种 类； 判断所述第一数据库种类与所述第二数据库种类是否相同， 若相同， 则直接将所述源 数据存入所述消息队列中； 若不同， 则确定所述目标数据库的数据种类， 并根据所述数据种类将所述源数据转换 为所述中间数据。 3.根据权利要求1所述的方法， 其特征在于， 所述确定数据迁移任务对应的源数据库、 源数据以及目标 数据库之前， 所述方法还 包括： 确定所述目标 数据库的当前环境； 对所述当前环境进行部署， 以使所述当前环境至少具备完全安装的linux系统组件、 各 语言开发环境、 已配置好且能够使用的消息队列。 4.根据权利要求1所述的方法， 其特 征在于， 所述方法还 包括： 确定所述源数据库以及所述目标 数据库之间存在绑定关系； 获取所述源数据库以及所述目标 数据库中包 含的第一数据以及第二数据； 根据所述第一数据以及所述第二数据， 确定所述源数据库中包 含的新增数据； 根据预设时间 间隔， 将所述 新增数据传输 至所述目标 数据库。 5.根据权利要求4所述的方法， 其特征在于， 所述根据所述第一数据以及所述第二数 据， 确定所述源数据库中包 含的新增数据， 具体包括： 获取所述第一数据以及所述第二数据的校验编码集； 任一校验编码 都与预设数量数据帧对应， 所述校验编码为所述预设数量数据帧的哈希 值； 通过对比所述校验编码集， 可确定所述第一数据中的新增数据。 6.根据权利要求1所述的方法， 其特 征在于， 所述方法还 包括： 获取所述消息队列中各个数据帧的数据迁移时间； 若任一数据帧的数据迁移时间超出 预设阈值， 则通过 预设的告警程序进行告警。 7.根据权利要求1所述的方法， 其特 征在于， 所述方法还 包括： 将数据转换程序以及导入程序打包， 以得到网络服 务； 将所述网络服 务部署到分布式l inux集群中； 所述数据转换程序用于根据所述数据库种类， 对所述源数据进行转换处理， 以得到中 间数据。 8.一种基于消息队列的数据迁移装置， 其特 征在于， 所述装置包括：权　利　要　求　书 1/2 页 2 CN 115374086 A 2任务确定模块， 确定数据迁移任务对应的源数据库、 源数据以及目标 数据库； 数据库种类确定模块， 确定所述源数据库以及所述目标数据库分别对应的数据库种 类； 数据转换模块， 根据所述数据库种类， 对所述源数据进行转换处 理， 以得到中间数据； 队列导入 模块， 将所述中间数据存 入消息队列中； 数据库导入 模块， 通过 预设的导入程序， 将所述中间数据导入至所述目标 数据库中。 9.一种基于消息队列的数据迁移设备， 其特 征在于， 包括： 至少一个处 理器； 以及， 与所述至少一个处 理器通信连接的存 储器； 其中， 所述存储器存储有可被所述至少一个处理器执行的指令， 所述指令被所述至少一个处 理器执行， 以使所述至少一个处 理器能够执 行： 确定数据迁移任务对应的源数据库、 源数据以及目标 数据库； 确定所述源数据库以及所述目标 数据库分别对应的数据库种类； 根据所述数据库种类， 对所述源数据进行转换处 理， 以得到中间数据； 将所述中间数据存 入消息队列中； 通过预设的导入程序， 将所述中间数据导入至所述目标 数据库中。 10.一种非易失性计算机存储介质， 存储有计算机可执行指令， 其特征在于， 所述计算 机可执行指令设置为： 确定数据迁移任务对应的源数据库、 源数据以及目标 数据库； 确定所述源数据库以及所述目标 数据库分别对应的数据库种类； 根据所述数据库种类， 对所述源数据进行转换处 理， 以得到中间数据； 将所述中间数据存 入消息队列中； 通过预设的导入程序， 将所述中间数据导入至所述目标 数据库中。权　利　要　求　书 2/2 页 3 CN 115374086 A 3