(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210836379.4 (22)申请日 2022.07.15 (71)申请人 深圳安巽科技有限公司 地址 518108 广东省深圳市南 山区粤海街 道滨海社区海天一路6号百度国际大 厦东塔楼 27层 (72)发明人 马庆贺　朱富康　 (74)专利代理 机构 北京盛凡佳华专利代理事务 所(普通合伙) 11947 专利代理师 汤镇宇 (51)Int.Cl. G06F 16/25(2019.01) G06F 16/28(2019.01) (54)发明名称 一种数据接入存储处理方法、 系统及 存储介 质 (57)摘要 本发明公开了一种数据接入存储处理方法、 系统及存储介质， 其中方法通过引导式操作的方 式接收人工填写的数据接入任务信息， 而后自动 根据任务信息进行与数据源服务器的连接配置， 来尽可能减少数据接入服务器与数据源服务器 之间的连接操作复杂性； 并通过自动获取样例数 据及预置解析规则的方式来对数据源服务器的 数据格式问题予以确认及处理， 并不需要为每种 来源与格式的数据定制开发数据接入程序， 在顺 利的情况下， 本发明所提供的数据接入存储 方法 只需要人工填写任务信息即可， 即使遇到连接配 置、 样例数据解析等问题， 也只需要进行部分内 容的调整及修改， 而且无需将数据打包成jar包， 操作简单方便且数据接入效率较高。 权利要求书2页 说明书8页 附图1页 CN 115186020 A 2022.10.14 CN 115186020 A 1.一种数据接入 存储处理方法， 其特 征在于， 包括： 接收人工操作指令创建数据接入 任务， 并接收人工填写的任务信息； 根据所述任务信息进行 数据接入服 务器与数据源服 务器之间的连接配置； 测试所述数据接入服务器与 所述数据源服务器是否连接成功， 若是则尝试从所述数据 源服务器获取样例数据， 若成功获取样例数据则根据所述样例数据的类型选择预置解析规 则； 根据预置解析规则尝试解析样例数据， 若解析通过则进行字段绑定并设置数仓； 发送数据请求指令至所述数据源服务器， 接收数据源服务器响应所述数据请求指令的 返回数据， 并将所述返回数据写入所述数仓 。 2.根据权利要求1所述的数据接入存储处理方法， 其特征在于， 所述测试所述数据接入 服务器与所述数据源服务器是否连接成功， 若是则尝试从所述数据源服务器获取样例数 据， 若成功获取样例数据则根据所述样例数据的类型选择预置解析规则的步骤还包括： 若 未能成功获取样例数据则提示用户填写样例数据， 而后根据用户所填写的样例数据选择预 置解析规则。 3.根据权利要求2所述的数据接入存储处理方法， 其特征在于， 所述根据 预置解析规则 尝试解析样例数据， 若解析通过则进行字段绑定并设置数仓的步骤还包括： 若样例数据解 析不通过则提示用户添加 解析规则或者在预置解析规则的基础上修改以得到新的解析规 则， 而后重新进行样例数据的解析， 直至样例数据解析通过。 4.根据权利要求1所述的数据接入存储处理方法， 其特征在于， 所述发送数据请求指令 至所述数据源服务器， 接 收数据源服务器响应所述数据请求指令的返回数据， 并将所述返 回数据写入所述数仓的步骤具体包括： 数据接入服务器接收开始执行数据接入任务的操作指令， 发送任务注册指令至调度中 心， 并接收调度中心返回的执 行生产器的指令； 生产器向数据源服务器请求数据目录， 收集数据源服务器所返回数据目录中的数据 量， 并根据数据量进行进程单 元数据量拆分； 数据接入服务器根据 所述进程单元数据量向调度中心发送调度指令， 接收调度中心根 据服务器空闲情况返回的数据请求指 令后向数据源服务器请求接入数据， 并接收数据源服 务器响应所述数据请求指令的返回数据， 并将所述返回数据写入所述数仓 。 5.根据权利要求1所述的数据接入存储处理方法， 其特征在于， 所述根据 预置解析规则 尝试解析样例数据， 若解析通过则进行字段绑定并设置数仓的步骤之后还包括： 根据预设 规则， 从所述数仓中拉取数据， 并进行所拉取数据的标准化处理， 所述标准化处理包括： 数 据校验、 数据补全、 数据格式转换及字段绑定 。 6.根据权利要求5所述的数据接入存储处理方法， 其特征在于， 所述标准化处理还包 括： 以RSA非对称解密方式解密数据， 与进行 数据的序列化、 格式化和/或反序列化 解析。 7.根据权利要求1所述的数据接入存储处理方法， 其特征在于， 所述发送数据请求指令 至所述数据源服务器， 接 收数据源服务器响应所述数据请求指令的返回数据， 并将所述返 回数据写入所述数仓的步骤之后还 包括： 将写入数仓数据的元 数据逐行备份至KAF KA系统。 8.根据权利要求1所述的数据接入存储处理方法， 其特征在于， 所述数仓包括： 模型数 据仓库及接入数据仓库， 所述模型数据仓库内存储有类型统计模型； 所述发送数据请求指权　利　要　求　书 1/2 页 2 CN 115186020 A 2令至所述数据源服务器， 接 收数据源服务器响应所述数据请求指令的返回数据， 并将所述 返回数据写入所述数仓的步骤 之后还包括： 根据模型数据仓库内的分类统计模型对所述接 入数据仓库中的数据进行分析， 统计分析 结果所对应的模型类型名称。 9.一种用于实现数据接入存储处理方法的系统， 其特征在于， 包括存储器及处理器， 所 述存储器用于数据接入存储处理程序， 所述处理器用于运行所述数据接入存储处理程序以 实现如权利要求1至8中任意 一项所述的数据接入 存储处理方法。 10.一种存储介质， 其上存储有计算机程序， 其特征在于， 所述计算机程序被处理器执 行时实现如权利要求1至8中任意 一项所述的数据接入 存储处理方法的步骤。权　利　要　求　书 2/2 页 3 CN 115186020 A 3