(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210824686.0 (22)申请日 2022.07.14 (71)申请人 中银金融科技有限公司 地址 200120 上海市中国 （上海） 自由贸易 试验区银城中路20 0号4层408室 (72)发明人 刘志鑫　 (74)专利代理 机构 北京集佳知识产权代理有限 公司 11227 专利代理师 王娇娇 (51)Int.Cl. G06F 16/23(2019.01) G06F 16/25(2019.01) (54)发明名称 一种数据处理方法、 系统、 电子设备及存储 介质 (57)摘要 本申请提供一种数据处理方法、 系统、 电子 设备及存储介质， 当接收到配置检查请求时， 从 抽数配置库中获取与配置检查请求对应的目标 配置表； 根据目标源数据的表名称从上游系统中 获取相应的目标源数据和目标源数据的目标源 数据结构； 根据目标源数据的源 数据结构和目标 源数据结构， 判断目标源数据是否发生变化； 若 目标源数据发生变化， 根据目标表的表名称获取 目标表， 根据目标源数据和目标表， 确定变更信 息； 若变更信息满足预设变更条件， 基于变更信 息对目标表进行更新； 若目标配置表存在新配置 信息， 根据新配置信息生成ET L流程； 新配置信息 至少包括待抽取表名称； 执行ETL流程， 从目标源 数据中抽取 出与待抽取表名称对应的表。 权利要求书2页 说明书10页 附图4页 CN 115203220 A 2022.10.18 CN 115203220 A 1.一种数据处 理方法， 其特 征在于， 所述方法包括： 当接收到配置检查请求 时， 从抽数配置库中获取与所述配置检查请求对应的目标配置 表； 所述目标配置表至少包括 目标源数据的源数据结构、 表名称和与其对应的目标表的表 名称； 根据所述目标源数据的表名称从上游系统中获取相应的目标源数据和所述目标源数 据的目标源数据结构； 根据所述目标源数据的源数据结构和目标源数据结构， 判断目标源数据是否发生变 化； 若所述目标源数据发生变化， 根据所述目标表的表名称获取所述目标表， 根据所述目 标源数据和所述目标表， 确定变更信息； 若所述变更信息满足预设变更 条件， 基于所述变更信息对所述目标表进行 更新； 判断所述目标配置表中是否存在新配置信息； 若所述目标配置表存在所述新配置信息， 根据所述新配置信息生成ETL流程； 所述新配 置信息至少包括待抽取表名称； 执行所述ETL流程， 从所述目标源数据中抽取 出与所述待抽取表名称对应的表。 2.根据权利要求1所述的方法， 其特征在于， 所述目标配置表还包括目标转换逻辑， 所 述目标转换逻辑包括目标待抽取 数据和目标转换 方式， 所述方法还 包括： 若所述目标源数据 未发生变化， 执行目标ETL流程， 将所述目标源数据中的所述目标待 抽取数据， 通过所述目标转换方式加载至所述目标表中； 其中， 所述目标ETL流程是根据所 述目标转换逻辑 生成的。 3.根据权利要求1所述的方法， 其特 征在于， 所述方法还 包括： 若所述变更信息不满足所述变更 条件， 生成相应 变更提示； 将所述变更提示发送给相应的运维人员， 以便所述运维人员基于所述变更提示进行相 应的运维处 理。 4.根据权利要求1所述的方法， 其特 征在于， 所述方法还 包括： 在从所述目标源数据中抽取出与 所述待抽取表名称对应的表的过程中， 实时检测是否 发生抽取故障； 若发生抽取故障， 确定所述抽取故障的故障原因； 判断预先设置的故障配置信息中是否存在所述故障原因对应的故障处 理操作； 若预先设置的故障配置信 息中存在所述故障原因对应的故障处理操作 执行， 执行所述 故障处理操作， 并返回执行所述ETL流程， 从所述目标源 数据中抽取出与所述待抽取表名称 对应的表的一 折步骤。 5.根据权利要求 4所述的方法， 其特 征在于， 所述方法还 包括： 若预先设置的故障配置信 息中不存在所述故障原 因对应的故障处理操作， 将所述故障 原因发送给运维人员， 以使所述 运维人员基于所述故障原因进行相应的操作。 6.根据权利要求1所述的方法， 其特征在于， 所述目标配置表还包括目标监控启动时间 和目标监控信息， 所述方法还 包括： 当所述数据处理系统的当前时间到达所述目标监控时间时， 对目标监控信 息中指示的 监控表进 行监控， 得到相应的监控检索； 其中， 所述监控表可以为所述待抽取表名称对应的权　利　要　求　书 1/2 页 2 CN 115203220 A 2表， 或者为目标表； 向运维人员输出相应的监控结果。 7.一种数据处理系统， 其特征在于， 所述系统包括配置更新模块、 传输任务生成模块和 传输任务执 行模块； 所述配置更新模块， 用于当接收到配置检查请求时， 从抽数配置库中获取与所述配置 检查请求对应的目标配置表； 根据所述目标源数据的表名称从上游系统中获取相应的目标 源数据和所述目标源数据的目标源数据结构； 根据所述目标源数据的源数据结构和目标源 数据结构， 判断所述目标源 数据是否发生变化； 若 所述目标源 数据发生变化， 获取所述目标 表的表名称获取所述目标表， 根据所述目标源数据和所述目标表， 确定变更信息； 若 所述变 更信息满足预设变更条件， 基于所述变更信息对所述 目标表进行更新； 判断所述 目标配置 表中是否存在新配置信息； 所述传输任务生成模块， 用于若所述目标配置表存在新配置信息， 根据所述新配置信 息生成ETL 流程； 所述新配置信息 至少包括待抽取表名称； 所述传输任务执行模块， 用于执行所述ETL流程， 从所述目标源数据中抽取出与所述待 抽取表名称对应的表。 8.根据权利要求7所述的系统， 其特征在于， 所述传输任务执行模块， 还用于若所述目 标源数据未发生变化， 执行目标ETL流程， 将所述目标源数据中的所述目标待抽取数据， 通 过目标转换方式加载至所述目标表中； 其中所述目标ETL流程是根据所述目标转换逻辑生 成的。 9.一种电子设备， 其特征在于， 包括： 处理器以及存储器， 所述处理器以及存储器通过 通信总线相连； 其中， 所述处理器， 用于调用并执行所述存储器中存储的程序； 所述存储器， 用于存储程序， 所述 程序用于实现如权利要求1 ‑6任一项所述的数据处 理方法。 10.一种计算机可读存储介质， 其特征在于， 所述计算机可读存储介质中存储有计算机 可执行指令， 所述计算机可 执行指令用于执 行如权利要求1 ‑6任一项所述的数据处 理方法。权　利　要　求　书 2/2 页 3 CN 115203220 A 3