全网唯一标准王
(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210638859.X (22)申请日 2022.06.07 (71)申请人 东软集团股份有限公司 地址 110179 辽宁省沈阳市 浑南新区新秀 街2号 (72)发明人 马鑫 刘闯  (74)专利代理 机构 北京清亦华知识产权代理事 务所(普通 合伙) 11201 专利代理师 赵静 (51)Int.Cl. G06F 9/54(2006.01) G06F 9/445(2018.01) G06F 16/28(2019.01) (54)发明名称 一种业务数据的管 理系统及其操作方法、 装 置和设备 (57)摘要 本申请提供了一种业务数据的管理系统及 其操作方法、 装置和设备。 该系统包括: 业务管理 组件和大数据数仓生态, 所述业务管理组件通过 已创建的数据集来管理所述大数据数仓生态的 每一数仓组件内的业务数据存储, 所述数据集按 照所述业务管理组件内已配置的每一所述数仓 组件的标准化存储格式进行创建, 且每一所述数 仓组件设定有对应的数仓适配器。 本申请设定一 个业务管 理组件, 作为业务应用和大数据数仓生 态之间的中间件, 避免业务应用与大数据数仓生 态之间的业务耦合, 并为业务应用提供多种业务 场景下的数据支撑, 屏蔽大数据数仓生态内多种 数仓组件混合时的复杂性, 降低业务数据管理的 复杂度和开发难度, 减 轻大数据数仓生态的数据 源压力。 权利要求书2页 说明书13页 附图3页 CN 115098276 A 2022.09.23 CN 115098276 A 1.一种业务数据的管理系统, 其特征在于, 包括: 业务管理组件和大数据数仓生态, 所 述业务管理组件通过已创建的数据集来管理所述大数据数仓生态的每一数仓组件内的业 务数据存储, 所述数据集按照所述业务管理组件内已配置的每一所述数仓组件的标准化存 储格式进行创建, 且每一所述数仓组件设定有对应的数仓适配 器; 其中, 所述业务管理组件根据业务应用的当前操作请求, 确定对应的请求类型和目标数据 集, 并通过所述目标数据集对应的目标数仓适配器生成所述请求类型下 的目标操作语句, 以利用所述目标 数仓适配 器对应的数仓组件执 行所述目标操作语句。 2.根据权利要求1所述的系统, 其特征在于, 所述业务管理组件面向不同业务应用设定 有统一的对外服务接口, 以支持各所述业务应用对所述大数据数仓生态的每一数仓组件执 行对应的数据集管理操作以及对各所述数仓组件内存储的业务数据执行对应的数据管理 操作。 3.根据权利要求1所述的系统, 其特征在于, 所述数据集的目标属性包括近实时类型和 离线类型, 以支持所述数据集在近实时数仓组件和离线数仓组件上的数据冗余存 储。 4.根据权利要求1所述的系统, 其特征在于, 所述业务管理组件内配置有基于消息队列 的增量同步 通道, 以实现不同数据集下的数据增量同步。 5.根据权利要求1所述的系统, 其特征在于, 所述业务管理组件内配置有每一所述数仓 组件支持的附加函数库, 用于辅助所述目标数仓适配器生成所述请求类型下的目标操作语 句。 6.一种业务数据的操作 方法, 其特征在于, 应用于权利要求1 ‑5任一项所述的业务数据 的管理系统内的业 务管理组件中, 包括: 响应于业 务应用的当前操作请求, 确定对应的请求类型和目标 数据集; 通过所述目标 数据集对应的目标 数仓适配 器生成所述请求类型 下的目标操作语句; 将所述目标操作语句转发给所述目标数仓适配器对应的数仓组件, 以执行所述目标操 作语句。 7.根据权利要求6所述的方法, 其特征在于, 所述通过所述目标数据集对应的目标数仓 适配器生成所述请求类型 下的目标操作语句, 包括: 如果所述请求类型为数据集定义操作, 则通过目标数据集对应的目标数仓适配器生成 数据定义语言下的数据集操作语句; 如果所述请求类型为对任一数据集内业务数据的管理操作, 则通过目标数据集对应的 目标数仓适配 器生成数据操纵语言下的结构化 查询语言SQ L语句。 8.根据权利要求7所述的方法, 其特征在于, 所述将所述目标操作语句转发给所述目标 数仓适配 器对应的数仓组件, 以执 行所述目标操作语句, 包括: 如果所述目标操作语句为所述SQL语句内的数据查询语句, 则将所述数据查询语句转 发给所述目标 数仓适配 器对应的数仓组件, 以获取对应的查询结果; 根据所述 查询结果数量, 确定所述数据查询语句的语句标识和存活时间; 按照所述存活时间锁定所述目标 数仓适配 器对应的数仓组件的上 下文租约; 在所述上 下文租约内, 按照所述语句标识向所述 业务应用批次反馈对应的查询结果。 9.根据权利要求7 所述的方法, 其特 征在于, 所述方法还 包括: 如果所述请求类型为数据集定义操作, 则对所述目标 数据集加锁;权 利 要 求 书 1/2 页 2 CN 115098276 A 2在执行完所述目标操作语句后, 对所述目标 数据集解锁。 10.根据权利要求6所述的方法, 其特 征在于, 所述方法还 包括: 响应于所述业务应用的增量同步请求, 对同步消息队列内的待同步数据进行数据集分 组, 得到不同分组数据集内的待同步数据; 按照每一分组数据集的目标属性, 将该分组数据集内的待同步数据转发到对应的近实 时队列和/或离线队列; 通过每一分组数据集对应的近实时数仓适配器, 将所述近实时队列内的待同步数据写 入到对应的近实时数仓组件内; 和/或, 通过每一分组数据集对应的离线数仓适配器, 按照所述分组数据集已配置的同步周期 将所述离线队列内的待同步数据写入到对应的离线数仓组件内。 11.一种业务数据的操作装置, 其特征在于, 配置于权利要求1 ‑5任一项所述的业务数 据的管理系统内的业 务管理组件中, 包括: 操作响应模块, 用于响应于业务应用的当前操作请求, 确定对应的请求类型和目标数 据集; 操作语句生成模块, 用于通过所述目标数据集对应的目标数仓适配器生成所述请求类 型下的目标操作语句; 操作语句处理模块, 用于将所述目标操作语句转发给所述目标数仓适配器对应的数仓 组件, 以执 行所述目标操作语句。 12.一种电子设备, 其特 征在于, 包括: 处理器和存储器, 所述存储器用于存储计算机程序, 所述处理器用于调用并运行所述 存储器中存 储的计算机程序, 以执 行权利要求6 ‑10中任一项所述的业 务数据的操作方法。 13.一种计算机可读存储介质, 其特征在于, 用于存储计算机程序, 所述计算机程序使 得计算机执 行如权利要求6 ‑10中任一项所述的业 务数据的操作方法。 14.一种计算机程序产品, 包括计算机程序/指令, 其特征在于, 该计算机程序/指令被 处理器执行时实现如权利要求6 ‑10任一项所述的业 务数据的操作方法。权 利 要 求 书 2/2 页 3 CN 115098276 A 3

.PDF文档 专利 一种业务数据的管理系统及其操作方法、装置和设备

文档预览
中文文档 19 页 50 下载 1000 浏览 0 评论 309 收藏 3.0分
温馨提示:本文档共19页,可预览 3 页,如浏览全部内容或当前文档出现乱码,可开通会员下载原始文档
专利 一种业务数据的管理系统及其操作方法、装置和设备 第 1 页 专利 一种业务数据的管理系统及其操作方法、装置和设备 第 2 页 专利 一种业务数据的管理系统及其操作方法、装置和设备 第 3 页
下载文档到电脑,方便使用
本文档由 人生无常 于 2024-03-17 23:58:29上传分享
友情链接
站内资源均来自网友分享或网络收集整理,若无意中侵犯到您的权利,敬请联系我们微信(点击查看客服),我们将及时删除相关资源。