(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210332054.2 (22)申请日 2022.03.30 (71)申请人 中国人寿保险股份有限公司 地址 100095 北京市海淀区温泉镇景天路 中国人寿研发中心 (72)发明人 马德民　曲明钰　王佳玺　陆智卿　 (74)专利代理 机构 北京风雅颂专利代理有限公 司 11403 专利代理师 朱智勇 (51)Int.Cl. G06F 16/25(2019.01) G06F 16/22(2019.01) G06F 16/28(2019.01) G06F 16/23(2019.01) (54)发明名称 跨系统数据更新 查询方法及相关 设备 (57)摘要 本申请提供一种跨系统数据更新查询方法 及相关设备， 所述方法包括： 设立数据库的标准 表结构， 并与多个源系统建立连接； 将不同所述 源系统中的存量数据存储到所述数据库中， 根据 所述标准表结构将相同类别的所述存量数据进 行整合形成统一的数据表； 将不同所述源系统中 的增量数据转移至消息队列系统中形成消息队 列， 依序将所述增量数据存储到相应的所述数据 表中； 建立所述数据表对应的索引， 依据所述索 引进行数据查询。 本申请提供的跨系统数据更新 查询方法及相关设备， 查询效率高， 用户体验好， 可以在数据更新的同时进行高效查询， 支持海量 数据跨系统整合、 更新存储， 为多维度查询提供 解决方案 。 权利要求书1页 说明书7页 附图3页 CN 114942953 A 2022.08.26 CN 114942953 A 1.一种跨系统数据更新 查询方法， 其特 征在于， 包括： 设立数据库的标准表结构， 并与多个源系统建立连接； 将不同所述源系统中的存量数据存储到所述数据库中， 根据所述标准表结构将相同类 别的所述存量数据进行整合形成统一的数据表； 将不同所述源系统中的增量数据转移至消息队列系统中形成消息队列， 依序将所述增 量数据存 储到相应的所述数据表中； 建立所述数据表对应的索引， 依据所述索引进行 数据查询。 2.根据权利要求1所述的跨系统数据更新查询方法， 其特征在于， 所述数据库为 OCeanBase。 3.根据权利要求1所述的跨系统数据 更新查询方法， 其特征在于， 所述标准表结构包括 表名、 表字段和表记录， 所述表名与所述类别相对应， 所述表字段的类型包括数据来源和存 储时间。 4.根据权利要求1所述的跨系统数据 更新查询方法， 其特征在于， 所述将不同所述源系 统中的存量数据存 储到所述数据库中， 包括： 采用DataX工具对所述源系 统中的所述存量数据进行并发转移， 所述并发转移包括启 动多个任务组， 每个所述任务组包含多个子任务， 每个任务组负责对所述源系统中一个表 的全部所述存量数据进行转移， 每个所述子任务负责对一个所述表中部分所述存量数据进 行转移。 5.根据权利要求1所述的跨系统数据 更新查询方法， 其特征在于， 所述消息队列系统为 Kafka， 所述消息队列中的所述增量数据按照增量时间的先后顺序排列。 6.根据权利要求1所述的跨系统数据 更新查询方法， 其特征在于， 所述依序将所述增量 数据存储到相应的所述数据表中， 包括： 采用SparkSteaming程序依序读取所述消息队列 中的所述增量数据， 根据所述增量数 据的所述类别将所述增量数据存 储到相应的所述数据表中。 7.根据权利要求3所述的跨系统数据 更新查询方法， 其特征在于， 所述建立所述数据表 对应的索引， 包括： 根据所述数据表的所述表字段异步建立所述索引。 8.根据权利要求1所述的跨系统数据 更新查询方法， 其特征在于， 所述依据所述索引进 行数据查询， 包括： 采用前端查下服务系统访问所述数据库， 依据所述索引执行SQL查询语 句， 对所述数据库中存 储的数据进行查询。 9.一种跨系统数据更新 查询装置， 其特 征在于， 包括： 初始模块， 被 配置为设立数据库的标准表结构， 并与多个源系统建立连接； 整合模块， 被配置为将不同所述源系统中的存量数据存储到所述数据库中， 根据所述 标准表结构将相同类别的所述存量数据进行整合形成统一的数据表； 更新模块， 被配置为将不同所述源系统中的增量数据转移至消息队列系统中形成消息 队列， 依序将所述增量数据存 储到相应的所述数据表中； 查询模块， 被 配置为建立所述数据表对应的索引， 依据所述索引进行 数据查询。 10.一种电子设备， 包括存储器、 处理器及存储在所述存储器上并可在所述处理器上运 行的计算机程序， 其特征在于， 所述处理器执行所述计算机程序时实现如权利要求 1‑8中任 意一项所述的跨系统数据更新 查询方法。权　利　要　求　书 1/1 页 2 CN 114942953 A 2跨系统数据更新查询方 法及相关设 备 技术领域 [0001]本申请涉及数据查询技术领域， 尤其涉及 一种跨系统数据更新查询方法及相关设 备。 背景技术 [0002]前端用户进行数据查询时， 往往要搜索海量数据， 而同类别的数据往往会存储在 不同的源系统中， 数据是分散的， 因此需要跨系统进行搜索， 这会增加查询耗时， 并且每个 源系统中数据存储格式不尽相同， 存储的数据又会实时更新， 在查询时需要构建复杂的查 询语句， 即便使用了大数据技术， 依然很难做到在数据更新的同时进 行高效查询， 也不能支 持多维度查询场景。 发明内容 [0003]有鉴于此， 本申请的目的在于提出一种跨系统数据更新查询方法及相关设备用以 解决上述 技术问题。 [0004]本申请的第一方面， 提供了一种跨系统数据更新查询方法， 包括： 设立数据库的标 准表结构， 并与多个源系统建立连接； 将不同所述源系统中的存量数据存储到所述数据库 中， 根据所述标准表结构将相同类别的所述存量数据进行整合形成统一的数据表； 将不同 所述源系统中的增量数据转移至消息队列系统中形成消息队列， 依序将所述增量数据存储 到相应的所述数据表中； 建立所述数据表对应的索引， 依据所述索引进行 数据查询。 [0005]进一步地， 所述数据库为OCeanBase。 [0006]进一步地， 所述标准表结构包括表名、 表字段和表记录， 所述表名与所述类别相对 应， 所述表字段的类型包括数据来源和存 储时间。 [0007]进一步地， 所述将不同所述源系统中的存量数据 存储到所述数据库中， 包括： 采用 DataX工具对所述源系统中的所述存量数据进行并发转移， 所述并发转移包括启动多个任 务组， 每个所述任务组包含多个子任务， 每个任务组负责对所述源系统中一个表的全部所 述存量数据进行转移， 每 个所述子任务负责对一个所述表中部分所述存量数据进行转移。 [0008]进一步地， 所述消息队列系统为Kafka， 所述消息队列中的所述增量数据按照增量 时间的先后顺序排列。 [0009]进一步地， 所述依序将所述增量数据存储到相应的所述数据表中， 包括： 采用 SparkSteaming程序依序读取所述消息队列中的所述增量数据， 根据所述增量数据的所述 类别将所述增量数据存 储到相应的所述数据表中。 [0010]进一步地， 所述建立所述数据表对应的索引， 包括： 根据所述数据表的所述表字段 异步建立所述索引。 [0011]进一步地， 所述依据所述索引进行数据查询， 包括： 采用前端查下服务系统访问所 述数据库， 依据所述索引执 行SQL查询语句， 对所述数据库中存 储的数据进行查询。 [0012]对所述数据库中存 储的数据进行查询。说　明　书 1/7 页 3 CN 114942953 A 3