全网唯一标准王
(19)国家知识产权局 (12)发明 专利 (10)授权公告 号 (45)授权公告日 (21)申请 号 202210403638.4 (22)申请日 2022.04.18 (65)同一申请的已公布的文献号 申请公布号 CN 114489866 A (43)申请公布日 2022.05.13 (73)专利权人 武汉中科通达高新 技术股份有限 公司 地址 430074 湖北省武汉市武汉东湖新 技 术开发区关山大道1号软件产业三期 A3栋10层 (72)发明人 王亚其 谭军胜 何正威 朱博  (74)专利代理 机构 深圳紫藤知识产权代理有限 公司 44570 专利代理师 赵伟(51)Int.Cl. G06F 9/445(2018.01) 审查员 郭小峰 (54)发明名称 数据管理方法及装置 (57)摘要 本申请实施例提供了一种数据管理方法及 装置, 该方法首先接收原始数据接入 数据中台的 数据接入请求, 根据数据接入请求携带的数据来 源标识, 确定原始数据对应的多个候选客户端, 并创建与多个候选客户端分别对应的多个目标 子线程和多个目标子加载器, 再通过多个目标子 线程分别调用对应的目标子加载器, 分别加载多 个候选客户端的候选驱动文件, 以启动多个候选 客户端, 再通过多个候选客户端分别读取原始数 据, 得到多个候选数据, 根据多个候选数据确定 目标数据, 最后将目标数据接入数据中台。 本申 请中通过创建多个子线程和子加载器, 来分别对 不同来源的数据进行接入数据中台, 提高了数据 管理效率。 权利要求书3页 说明书10页 附图8页 CN 114489866 B 2022.07.12 CN 114489866 B 1.一种数据管理方法, 其特 征在于, 包括: 接收原始数据接入数据中台的数据接入请求, 所述数据接入请求携带所述原始数据的 数据来源标识; 根据所述数据来源标识, 确定所述原始数据对应的多个候选客户端, 并通过主线程创 建与所述多个候选客户端分别对应的多个目标子线程和多个目标子加载器, 一个候选客户 端对应一条目标子线程和一个目标子加载器, 每个目标子线程用于调用对应的目标子加载 器启动对应的候选客户端, 每 个候选客户端对应一种类型的消息中间件; 通过所述多个目标子线程分别调用对应的目标子加载器, 分别加载所述多个候选客户 端的候选驱动文件, 以启动所述多个候选客户端; 通过所述多个候选客户端分别读取 所述原始数据, 得到多个候选数据; 根据所述多个候选数据确定 接入所述数据中 台的目标 数据; 将所述目标 数据接入所述数据中 台; 所述根据所述多个候选数据确定 接入所述数据中 台的目标 数据的步骤, 包括: 对所述多个候选数据进行完整度分析, 得到所述多个候选数据分别对应的多个完整性 数值; 将所述多个候选数据中完整性数值最高的候选数据, 确定为接入所述数据中台的目标 数据; 或, 获取所述多个候选数据分别对应的多个数据读取时间; 将所述多个候选数据中数据读取时间最短的候选数据, 确定为接入所述数据中台的目 标数据。 2.如权利要求1所述的数据管理方法, 其特征在于, 所述多个候选客户端分别携带客户 端标识; 所述通过主线程创建与所述多个候选客户端分别对应的多个目标子线程和多个目 标子加载器的步骤, 包括: 通过所述主线程创建与所述多个候选客户端分别对应的多个目标子线程; 根据多个所述客户端标识, 确定所述多个候选客户端分别对应的多个候选驱动文件, 以及所述多个候选驱动文件 对应的多个文件路径; 基于所述多个文件路径, 通过所述通过主线程创建与 所述多个候选客户端分别对应的 多个目标子加载器。 3.如权利要求1所述的数据管理方法, 其特征在于, 所述原始数据包括第 一原始数据和 第二原始数据; 所述根据所述数据来源标识, 确定所述原始数据对应的多个候选客户端, 并 通过主线程创建与所述多个候选客户端分别对应的多个目标子线程和多个目标子加载器 的步骤, 包括: 判断所述第 一原始数据和所述第 二原始数据 是否为同一类型数据, 相同客户端产生的 数据为同一类型 数据; 若所述第一原始数据和所述第 二原始数据为不同类型数据, 则根据所述第 一原始数据 的第一数据来源标识, 确定所述第一原始数据对应的多个第一候选客户端, 并通过所述主 线程创建与所述多个第一候选客户端分别对应的多个第一目标子线程和多个第一目标子 加载器, 根据所述第二原始数据的第二数据来源标识, 确定所述第二原始数据对应的多个 第二候选客户端, 并通过所述主线程创建与所述多个第二候选客户端分别对应的多个第二权 利 要 求 书 1/3 页 2 CN 114489866 B 2目标子线程和多个第二目标子加载器; 若所述第一原始数据和所述第二原始数据为同一类型数据, 根据所述数据来源标识, 确定所述原始数据对应的多个第三候选客户端, 并通过所述主线程创建与所述多个第三候 选客户端分别对应的多个第三目标子线程和多个第三目标子加载器。 4.如权利要求3所述的数据管理方法, 其特征在于, 所述第 一原始数据和所述第 二原始 数据为同一类型数据; 所述通过所述多个候选客户端分别读取所述原始数据, 得到多个候 选数据的步骤, 包括: 基于预设的数据接入顺序优先级列表, 判断所述第 一原始数据和所述第 二原始数据的 接入顺序优先级; 根据所述第一原始数据和所述第二原始数据的接入顺序优先级通过所述多个第三候 选客户端分别读取 所述原始数据, 得到多个候选数据。 5.如权利要求1所述的数据管理方法, 其特征在于, 在所述接收原始数据接入数据中台 的接入请求的步骤之前, 还 包括: 将所述原 始数据对应的多个候选客户端的候选驱动文件 存储在预置的存 储单元中。 6.如权利要求1所述的数据管理方法, 其特征在于, 在所述将所述目标数据接入所述数 据中台的步骤之后, 还 包括: 删除所述多个候选客户端分别对应的多个目标子线程和多个目标子加载器。 7.如权利要求1所述的数据管理方法, 其特征在于, 所述将所述目标数据接入所述数据 中台的步骤, 包括: 将所述目标 数据进行 数据转换和清洗, 得到处 理后的目标 数据; 将所述处 理后的目标 数据接入所述数据中 台。 8.一种数据管理装置, 其特 征在于, 包括: 接收模块, 用于接收原始数据接入数据中台的数据接入请求, 所述数据接入请求携带 所述原始数据的数据来源标识; 创建模块, 用于根据 所述数据来源标识, 确定所述原始数据对应的多个候选客户端, 并 通过主线程创建与所述多个候选客户端分别对应的多个目标子线程和多个目标子加载器, 一个候选客户端对应一条目标子线程和一个目标子加载器, 每个目标子线程用于调用对应 的目标子加载器启动对应的候选客户端, 每 个候选客户端对应一种类型的消息中间件; 加载模块, 用于通过所述多个目标子线程分别调用对应的目标子加载器, 分别加载所 述多个候选客户端的候选驱动文件, 以启动所述多个候选客户端; 读取模块, 用于通过 所述多个候选客户端分别读取 所述原始数据, 得到多个候选数据; 确定模块, 用于根据所述多个候选数据确定 接入所述数据中 台的目标 数据; 接入模块, 用于将所述目标 数据接入所述数据中 台; 所述确定模块具体用于: 对所述多个候选数据进行完整度分析, 得到所述多个候选数 据分别对应的多个完整性数值; 将所述多个候选数据中完整性数值最高的候选数据, 确定为接入所述数据中台的目标 数据; 或, 获取所述多个候选数据分别对应的多个数据读取时间; 将所述多个候选数据中数据读取时间最短的候选数据, 确定为接入所述数据中台的目权 利 要 求 书 2/3 页 3 CN 114489866 B 3

.PDF文档 专利 数据管理方法及装置

文档预览
中文文档 22 页 50 下载 1000 浏览 0 评论 309 收藏 3.0分
温馨提示:本文档共22页,可预览 3 页,如浏览全部内容或当前文档出现乱码,可开通会员下载原始文档
专利 数据管理方法及装置 第 1 页 专利 数据管理方法及装置 第 2 页 专利 数据管理方法及装置 第 3 页
下载文档到电脑,方便使用
本文档由 人生无常 于 2024-03-18 00:06:02上传分享
友情链接
站内资源均来自网友分享或网络收集整理,若无意中侵犯到您的权利,敬请联系我们微信(点击查看客服),我们将及时删除相关资源。