(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210681974.5 (22)申请日 2022.06.15 (71)申请人 中银金融科技有限公司 地址 200120 上海市浦东 新区(上海)自由 贸易试验区银城中路20 0号4楼408室 (72)发明人 陈浩　 (74)专利代理 机构 北京路浩知识产权代理有限 公司 11002 专利代理师 梁军丽 (51)Int.Cl. G06F 16/27(2019.01) G06F 16/23(2019.01) G06F 16/25(2019.01) (54)发明名称 基于kettle的数据同步方法、 组件、 设备及 介质 (57)摘要 本发明提供一种基于kettle的数据同步方 法、 组件、 设备及介质， 其中方法包括： 确定同步 频率和配置信息； 基于同步频率， 应用配置信息， 确定并初始化同步频率对应的同步任务； 基于同 步任务中的同步类型， 及配置信息中与同步频率 对应的同步日期， 执行同步任务对应的转换作 业， 得到同步任务的执行结果， 并将执行结果写 入日志中； 同步任务全部执行成功后， 基于所述 同步频率， 更新所述配置信息中的同步日期， 该 方法实现了多同步频率和多场景的数据同步， 并 且只需要在kettle平台下设计好转换作业后， 只 需配置包含有各映射关系的配置信息， 简化了同 步配置， 降低了配置技术门槛， 进而提升了用户 体验。 权利要求书2页 说明书11页 附图4页 CN 115168487 A 2022.10.11 CN 115168487 A 1.一种基于ket tle的数据同步方法， 其特 征在于， 包括： 确定同步频率和配置信息； 基于所述同步频率， 应用所述配置信息， 确定并初始化所述同步频率对应的同步任务； 基于所述同步任务中的同步类型， 在所述配置信息中与所述同步频率对应的同步日 期， 执行所述同步任务对应的转换作业， 得到所述同步任务的执行结果， 并将所述执行结果 写入日志中； 所述同步任务全部执 行成功后， 基于所述同步频率， 更新所述配置信息中的同步日期。 2.根据权利 要求1所述的基于kettle的数据同步方法， 其特征在于， 所述配置信息包括 同步系统表、 同步周期表和同步系统表清单表； 所述同步系统表用于存放待同步业务系统 信息， 所述系统信息包括数据库类型、 数据源配置信息和同步频率； 所述同步周期表用于存 放同步周期信息， 所述同步周期信息包括同步日期和同步频率； 所述同步系统表清单表用 于存放所述同步系统表中各系统对应的表配置信息， 所述表配置信息包括源系统名、 源系 统表名、 源系统表增量表达式、 目标系统名、 目标系统表名、 目标系统表增量表达式、 和同步 类型； 所述同步类型包括增量类型或全量类型； 所述基于所述同步频率， 应用所述配置信息， 确定并初始化所述同步频率对应的同步 任务， 包括： 基于所述同步频率， 应用所述同步系统表， 确定同步系统信息； 基于所述同步系统信息， 应用所述同步系统表清单表， 确定所述同步系统信息对应的 表配置信息； 基于所述同步系统信息对应的表配置信息， 初始化所述同步任务。 3.根据权利 要求2所述的基于kettle的数据同步方法， 其特征在于， 所述配置信息还包 括： 数据源配置文件和同步作业程序 表； 所述数据源配置文件用于存放数据源连接信息； 所 述同步作业 程序表用于存放所述同步系统表 清单表中各表配置信息对应的转换作业名； 所述基于所述同步任务中的同步类型， 在所述配置信 息中与所述同步频率对应的同步 日期， 执行所述同步任务对应的转换作业， 得到所述同步任务的执 行结果， 包括： 基于所述同步频率， 应用所述同步周期表， 确定所述同步日期； 基于所述同步系统表中存放的数据源配置信息和所述数据源配置文件中的数据源连 接信息之间的映射关系， 确定所述同步系统信息对应的数据源连接信息； 基于所述同步系统信息对应的表配置信息， 应用所述同步作业程序表， 确定所述同步 任务对应的转换作业名； 基于所述同步任务中的同步类型， 应用所述同步系统信息对应的数据源连接信息， 在 所述同步日期， 执 行所述转换作业名对应转换作业， 得到所述执 行结果。 4.根据权利 要求3所述的基于kettle的数据同步方法， 其特征在于， 所述配置信息还包 括： 假日表， 所述假日表用于存放日期和日期对应的属性标签， 所述属性标签包括工作日和 节假日； 基于所述同步频率和当前日期， 确定下一次的临时同步日期； 基于所述临时同步日期， 应用所述假日表中的日期信息， 确定下一 次的实际同步日期， 并将所述同步周期表中所述同步频率对应的同步日期更新 为所述实际同步日期。 5.根据权利 要求2所述的基于kettle的数据同步方法， 其特征在于， 所述配置信息还包权　利　要　求　书 1/2 页 2 CN 115168487 A 2括： 同步计划结果表， 用于存放任务计划、 任务状态和任务结果； 所述任务状态包括初始状 态、 成功状态和失败状态； 所述初始化所述同步任务， 包括： 若所述同步计划结果表中未记录包括所述同步任务及所述配置信息中与所述同步频 率对应的同步日期的同步计划， 则将所述同步任务、 所述同步日期以及所述初始状态作为 新同步计划， 写入所述同步计划结果表中； 所述基于所述同步任务中的同步类型， 在所述配置信 息中与所述同步频率对应的同步 日期， 执行所述同步任务对应的转换作业， 得到所述同步任务的执行结果， 并将所述执行结 果写入日志中之后， 还 包括： 将所述同步计划结果表中所述同步任务对应的任务状态更新为所述执行结果对应的 任务状态。 6.根据权利 要求5所述的基于kettle的数据同步方法， 其特征在于， 所述基于所述同步 任务中的同步类型， 在所述配置信息中与所述同步频率对应的同步日期， 执行所述同步任 务对应的转换作业， 得到所述同步任务的执 行结果， 包括： 基于所述同步计划结果表和所述同步任务， 得到所述同步任务的任务状态； 并将所述 同步任务中任务状态为初始状态的任务作为待执 行任务； 基于所述待执行任务中的同步类型， 在所述配置信 息中与所述同步频率对应的同步日 期， 执行所述待执 行任务对应的转换作业， 得到所述待执 行任务的执 行结果。 7.根据权利 要求6所述的基于kettle的数据同步方法， 其特征在于， 所述配置信息还包 括： 日志表， 所述日志 表用于记录所述同步任务的执 行日志； 将所述执 行结果写入日志中， 包括： 若所述同步任务的执行结果为成功， 则将执行结果写入日志表中， 否则将所述执行结 果和失败信息写入日志 表中。 8.一种基于ket tle的数据同步组件， 其特 征在于， 包括： 确定模块， 用于确定同步频率和配置信息； 初始化模块， 用于基于所述同步频率， 应用所述配置信 息， 确定并初始化所述同步频率 对应的同步任务； 同步模块， 用于基于所述同步任务中的同步类型， 在所述配置信息中与所述同步频率 对应的同步日期， 执行所述同步任务对应的转换作业， 得到所述同步任务的执行结果， 并将 所述执行结果写入日志中； 数据日期切换模块， 用于所述同步任务全部执行成功后， 基于所述同步频率， 更新所述 配置信息中的同步日期。 9.一种电子设备， 包括存储器、 处理器及存储在所述存储器上并可在所述处理器上运 行的计算机程序， 其特征在于， 所述处理器执行所述程序时实现如权利要求1至7任一项所 述基于ket tle的数据同步方法。 10.一种非暂态计算机可读存储介质， 其上存储有计算机程序， 其特征在于， 所述计算 机程序被处 理器执行时实现如权利要求1至7任一项所述基于ket tle的数据同步方法。权　利　要　求　书 2/2 页 3 CN 115168487 A 3