(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210791558.0 (22)申请日 2022.07.05 (71)申请人 携程商旅信息服 务 （上海） 有限公司 地址 200093 上海市杨 浦区控江路1 142号 23幢3132- 67室 (72)发明人 许斌　马涛　金丽丽　 (74)专利代理 机构 上海弼兴律师事务所 31283 专利代理师 林嵩　罗朗 (51)Int.Cl. G06F 16/27(2019.01) G06F 16/25(2019.01) G06F 9/54(2006.01) (54)发明名称 数据同步方法、 系统、 电子设备及存 储介质 (57)摘要 本发明公开了一种数据同步方法、 系统、 电 子设备及存储介质， 所述数据同步方法包括： 构 建预设存储介质对应的数据配置信息； 基于所述 数据配置信息， 从预设数据源匹配得到目标数 据； 根据预设数据同步规则， 将所述目标数据同 步至所述预设存储介质中的若干目标集群上。 本 发明通过抽象全量同步、 全量比对、 增量同步， 形 成一套简单易用的数据同步框架， 并预留扩展接 口， 通过配置可以拓展使用场景， 投入较少的开 发就可以完成实际的业务功能的快速迭代， 有效 地降低了开发的成本 。 权利要求书2页 说明书10页 附图5页 CN 115080666 A 2022.09.20 CN 115080666 A 1.一种数据同步方法， 其特 征在于， 所述数据同步方法包括： 构建预设存 储介质对应的数据配置信息； 基于所述数据配置信息， 从预设数据源匹配得到目标 数据； 根据预设数据同步规则， 将所述目标数据同步至所述预设存储介质中的若干目标集群 上。 2.如权利要求1所述的数据同步方法， 其特征在于， 不同的所述预设存储介质对应不同 的所述数据配置信息 。 3.如权利要求1或2所述的数据同步方法， 其特征在于， 所述构建预设存储介质对应的 数据配置信息的步骤之后包括： 判断所述数据配置信息是否满足预设配置条件， 若满足， 则执行所述基于所述数据配 置信息， 从预设数据源匹配得到目标 数据的步骤； 否则， 生成配置异常的提 示信息。 4.如权利要求1所述的数据同步方法， 其特征在于， 所述预设存储介质包括： 分布式搜 索和数据分析引擎、 远程字典； 和/或， 所述预设数据源 包括： 数据仓库工具和/或关系型 数据库。 5.如权利要求4所述的数据同步方法， 其特征在于， 在所述预设数据同步规则包括所述 关系型数据库对应的DB同步方式时， 所述DB同步方式为基于动态调整 数据分割时间边界分 割所述目标 数据以同步传输； 或， 在所述预设数据同步规则 包括所述数据仓库工具的Hive同步方式时， 所述Hive同步方 式为基于多 线程技术分割所述目标 数据以同步传输 。 6.如权利要求5所述的数据同步方法， 其特征在于， 在采用所述DB同步方式时， 所述基 于所述数据配置信息， 从预设数据源匹配得到目标 数据的步骤 包括： 获取所述关系型数据库的时间字段， 所述时间字段包含开始边界时间和结束边界时 间， 所述开始边界时间和结束边界时间将所述关系型 数据库切分成不同数据块； 将所述时间字段的数据量与预设阈值比较， 若低于所述预设阈值， 则查询所述时间字 段对应的数据块得到所述目标 数据； 若高于或等于所述预设阈值， 则将所述 时间字段的结束边界时间缩小至所述开始边界 时间和结束边界时间的中点， 重新获取所述时间字段的数据量， 直至所述时间字段 的数据 量低于所述预设阈值， 并更新所述时间字段。 7.如权利要求5所述的数据同步方法， 其特征在于， 在采用所述Hive同步方式时， 所述 根据预设数据同步规则， 将所述目标数据同步至与所述预设存储介质中的若干目标集群上 的步骤之后还 包括： 采用预设数据比对规则， 判断所述目标 数据与所述存 储介质中的设定数据是否相同； 若不相同， 则进行 数据修正直至所述目标 数据与所述设定数据相同。 8.如权利要求7所述的数据同步方法， 其特征在于， 所述预设数据比对规则包括： 正向 比对规则或反向比对规则； 所述正向比对规则用于表征将所述预设数据源中的数据与所述目标集群上的数据比 对；权　利　要　求　书 1/2 页 2 CN 115080666 A 2所述反向比对规则用于表征在所述目标集群上比对是否存在所述目标 数据。 9.如权利要求1或2所述的数据同步方法， 其特 征在于， 所述数据同步方法还 包括： 监听所述数据源的增量日志数据， 所述增量日志数据包 含增量变化数据； 同步所述增量变化数据至所述目标集群上。 10.一种数据同步系统， 其特 征在于， 所述数据同步系统包括： 配置信息构建模块， 用于构建预设存 储介质对应的数据配置信息； 目标数据匹配模块， 用于基于所述数据配置信息， 从预设数据源匹配得到目标 数据； 数据同步模块， 用于根据预设数据同步规则， 将所述目标数据同步至所述预设存储介 质中的若干目标集群上。 11.一种电子设备， 包括存储器、 处理器及存储在存储器上并可在处理器上运行的计算 机程序， 其特征在于， 所述处理器执行所述计算机程序时实现权利要求1至9中任一项所述 的数据同步方法。 12.一种计算机可读存储介质， 其上存储有计算机程序， 其特征在于， 所述计算机程序 被处理器执行时实现权利要求1至9中任一项所述的数据同步方法。权　利　要　求　书 2/2 页 3 CN 115080666 A 3