(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210726065.9 (22)申请日 2022.06.23 (71)申请人 北京百度网讯科技有限公司 地址 100085 北京市海淀区上地十街10号 百度大厦2层 (72)发明人 潘朝鑫　王艺　岳洪达　 (74)专利代理 机构 北京英赛 嘉华知识产权代理 有限责任公司 1 1204 专利代理师 王达佐　马晓亚 (51)Int.Cl. G06F 16/25(2019.01) (54)发明名称 数据集成方法和装置、 系统、 电子 设备、 计算 机可读介质 (57)摘要 本公开提供了一种数据集 成方法和装置， 涉 及大数据技术领域。 具体实现方案为： 接收数据 集成任务中不同目标数据源的访问配置信息和 响应配置信息； 基于访问配置信息和预定义请求 程序接口向目标数据源的目标接口发送访问请 求； 接收目标接口返回的响应数据； 基于响应配 置信息， 对响应数据进行处理， 得到对应数据集 成任务的数据集成结果。 该实施方式提升了API 数据源的数据集成效率。 权利要求书3页 说明书12页 附图4页 CN 115048446 A 2022.09.13 CN 115048446 A 1.一种数据集成方法， 所述方法包括： 接收数据集成任务中不同目标 数据源的访问配置信息和响应 配置信息； 基于所述访问配置信息和预定义请求程序接口向所述目标数据源的目标接口发送访 问请求； 接收所述目标接口返回的响应数据； 基于所述响应配置信息， 对所述响应数据进行处理， 得到对应所述数据集成任务的数 据集成结果。 2.根据权利要求1所述的方法， 其中， 所述基于所述访问配置信 息和预定义请求程序接 口向所述目标 数据源的目标接口发送访问请求， 包括： 基于所述目标数据源的访 问配置信息， 配置所述预定义请求程序接口， 得到所述目标 数据源的访问请求； 向所述目标 数据源的目标接口发送所述访问请求。 3.根据权利要求2所述的方法， 其中， 所述预定义请求程序接口包括： 配置接口， 请求头 接口以及请求体接口； 所述访问配置信息包括： 所述 目标数据源的路径， 验证规则， 验证参 数， 所述基于所述目标数据源的访问配置信息， 配置所述预定义请求程序接口， 得到所述目 标数据源的访问请求， 包括： 将所述目标 数据源的路径加载到所述配置 接口中， 得到第一配置信息； 将所述目标 数据源的验证规则加载到所述请求头 接口中， 得到第二配置信息； 将所述目标 数据源的验证参数加载到所述请求体接口中， 得到第三配置信息； 基于所述第一配置信息、 所述第二配置信息以及所述第三配置信息， 得到访问请求。 4.根据权利要求1所述的方法， 其中， 所述响应配置信息包括： 响应解析规则， 所述基于 所述响应配置信息， 对所述响应数据进行处理， 得到对应所述数据集成任务的数据集成结 果， 包括： 采用所述数据源的响应解析规则， 对所述响应数据进行解析， 得到所述目标数据源的 第一解析数据； 汇总所述数据集成任务中所有目标数据源的第 一解析数据， 得到对应所述数据集成任 务的数据集成结果。 5.根据权利要求4所述的方法， 其中， 所述基于所述响应配置信息， 对所述响应数据进 行处理， 得到对应所述数据集成任务的数据集成结果， 还 包括： 基于对所述响应数据进行处 理的处理结果， 向所述目标接口发送下一轮请求； 接收所述目标接口返回的下一轮数据； 基于所述响应解析规则， 对所述目标数据源的下一轮数据进行处理， 得到对应所述目 标数据源的下一轮解析 数据； 将所述目标 数据源的下一轮解析 数据汇总至所述数据集成结果中。 6.根据权利要求4所述的方法， 其中， 所述响应配置信息还包括： 顺序设置的不同轮次 的访问信息和预定义的不同轮次的请求接口， 所述基于所述响应配置信息， 对所述响应数 据进行处 理， 得到对应所述数据集成任务的数据集成结果， 还 包括： 判断所述 不同轮次的访问信息中的当前轮次的访问信息是否为空； 响应于当前轮次的访问信息不为空， 基于当前轮次的访问信息和当前轮次的请求接权　利　要　求　书 1/3 页 2 CN 115048446 A 2口， 向所述目标接口发送下一轮请求； 接收所述目标接口返回的下一轮数据； 通过所述响应解析规则， 对所述目标数据源的下一轮数据进行解析， 得到第二解析数 据； 将所述第二解析数据汇总至所述数据集成结果中， 并将当前轮次加一， 继续判断所述 不同轮次的访问信息中的当前轮次的访问信息是否为空。 7.根据权利要求 4所述的方法， 其中， 所述方法还 包括： 响应于当前轮次访问信息为空， 结束数据集成任务的数据集成。 8.根据权利要求1 ‑3之一所述的方法， 其中， 所述基于所述响应配置信息， 对所述响应 数据进行处 理， 得到对应所述数据集成任务的数据集成结果， 还 包括： 采用所述响应配置信 息对所述响应数据进行解析， 得到所述目标数据源的第 三解析数 据； 将所述第三 解析数据存储至缓冲区， 检测所述缓冲区的数据是否 完整； 响应于所述缓冲区的数据完整， 将所述缓冲区中的数据作为所述数据集成任务的数据 集成结果。 9.一种数据集成装置， 所述装置包括： 信息接收单元， 被配置成接收数据集成任务中不同目标数据源的访问配置信 息和响应 配置信息； 访问单元， 被配置成基于所述访问配置信 息和预定义请求程序接口向所述目标数据源 的目标接口发送访问请求； 数据接收单 元， 被配置成接收所述目标接口返回的响应数据； 处理单元， 被配置成基于所述响应配置信 息， 对所述响应数据进行处理， 得到对应所述 数据集成任务的数据集成结果。 10.根据权利要求9所述的装置， 其中， 所述访问单元进一步被配置成： 基于所述目标数 据源的访问配置信息， 配置所述预定义请求程序接口， 得到所述目标数据源的访问请求； 向 所述目标 数据源的目标接口发送所述访问请求。 11.根据权利要求10所述的装置， 其中， 所述预定义请求程序接口包括： 配置接口， 请求 头接口以及请求体接口； 所述访问配置信息包括： 所述目标数据源的路径， 验证规则， 验证 参数， 所述访问单元进一步被配置成： 将所述目标数据源的路径加载到所述配置接口中， 得 到第一配置信息； 将所述 目标数据源的验证规则加载到所述请求头接口中， 得到第二配置 信息； 将所述目标数据源的验证参数加载到所述请求体接口中， 得到第三配置信息； 基于所 述第一配置信息、 所述第二配置信息以及所述第三配置信息， 得到访问请求。 12.根据权利要求9所述的装置， 其中， 所述响应配置信息包括： 响应解析规则， 所述处 理单元进一步被配置成： 采用所述响应解析规则， 对所述响应数据进 行解析， 得到所述目标 数据源的第一解析数据； 汇总 所述数据集成任务中所有目标数据源的第一解析数据， 得到 对应所述数据集成任务的数据集成结果。 13.根据权利要求12所述的装置， 所述处理单元进一步被配置成： 基于对所述响应数据 进行处理的处理结果， 向所述 目标接口发送下一轮请求； 接 收所述目标接口返回的下一轮 数据； 基于所述响应解析规则， 对所述目标数据源的下一轮数据进 行处理， 得到对应所述目权　利　要　求　书 2/3 页 3 CN 115048446 A 3