全网唯一标准王
(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210687405.1 (22)申请日 2022.06.16 (71)申请人 杭州网易云音乐科技有限公司 地址 310052 浙江省杭州市萧 山区钱江世 纪城奔竞大道353号杭州国际博览中 心A座1201室 (72)发明人 罗琛 裴中率 朱一飞 刘源  姚盛楠 金林强 王永亮 陈人树  焦广才 冀文杰 钟秀秀  (74)专利代理 机构 北京律智知识产权代理有限 公司 11438 专利代理师 孙宝海 (51)Int.Cl. G06F 16/2455(2019.01) G06F 16/22(2019.01)G06F 16/23(2019.01) G06F 16/2458(2019.01) (54)发明名称 数据处理方法、 装置、 存 储介质及电子设备 (57)摘要 本公开提供了一种数据处理方法、 装置、 存 储介质及电子设备, 涉及计算机技术领域。 本公 开实施例中, 可以先获取实时数据流中的每一待 处理数据中对应至少一个预设维度的数据信息, 再将数据信息分别写入预设维度对应的位图索 引, 然后, 根据读取指令中的筛选条件确定至少 一个目标 维度, 在目标 维度和预设维度匹配的情 况下, 确定目标维度对应的位图索引, 按照目标 逻辑运算关系对目标维度对应的位图索引进行 逻辑运算, 获得针对读取指令的统计结果。 这样, 将读取指令分解为多个目标 维度, 可以简化数据 处理过程中的计算量, 可以实现对读取指令快速 响应的目的, 由于单一维度对应的位图索引被入 侵的可能较小, 无需增加额外的协处理器来维护 位图索引。 权利要求书2页 说明书15页 附图4页 CN 114925101 A 2022.08.19 CN 114925101 A 1.一种数据处 理方法, 其特 征在于, 所述方法包括: 获取实时数据流中的每一待处 理数据中对应至少一个预设维度的数据信息; 将所述数据信息分别写入所述预设维度对应的位图索引; 根据读取指令中的筛 选条件确定 至少一个目标维度; 在所述目标维度和预设维度匹配的情况 下, 确定所述目标维度对应的位图索引; 按照目标逻辑运算关系 对所述目标维度对应的位图索引进行逻辑运算, 获得针对所述 读取指令的统计结果。 2.根据权利要求1所述的方法, 其特征在于, 所述根据读取指令中的筛选条件确定至少 一个目标维度, 包括: 对所述筛 选条件拆分, 得到 至少一个筛 选子条件; 根据任一所述筛 选子条件确定对应的目标维度, 得到所述至少一个目标维度。 3.根据权利要求2所述的方法, 其特 征在于, 所述方法还 包括: 根据所述读取指令所指示的所述至少一个筛选子条件之间的逻辑关系, 确定所述目标 逻辑运算关系。 4.根据权利要求1所述的方法, 其特征在于, 在所述按照目标逻辑运算关系对所述位图 索引进行逻辑 运算, 获得针对所述读取指令的统计结果之前, 还 包括: 在所述目标维度和所述预设维度不匹配的情况 下, 确定新增维度; 选取为所述 新增维度配置对应的位图索引的时刻, 作为第一时刻; 将第一历史数据中与 所述新增维度对应的数据信 息, 依次写入所述新增维度对应的位 图索引; 所述第一历史数据是所述第一时刻之前未写入所述新增维度对应的位图索引的数 据; 将成功写入所述 新增维度对应的位图索引的时刻, 作为第二时刻; 检测是否有第 二历史数据; 所述第 二历史数据是所述第 二时刻之前未写入所述新增维 度对应的位图索引的数据; 若有, 则将所述第二历史数据中与所述新增维度对应的数据信息, 继续写入所述新增 维度对应的位图索引, 并重新执行所述将成功写入所述新增维度对应的位图索引的时刻, 作为第二时刻的操作; 若无, 则对所述第二时刻之后进入的实时数据流, 将所述实时数据流中的每一待处理 数据与所述 新增维度对应的数据信息, 继续写入所述 新增维度对应的位图索引。 5.根据权利要求1所述的方法, 其特征在于, 在所述获取实时数据流中的每一待处理数 据中对应至少一个预设维度的数据信息之前, 还 包括: 基于所述待处理数据包含的多个类别特征, 将符合预设低基数的类别特征配置为所述 预设维度。 6.根据权利要求1所述的方法, 其特 征在于, 所述方法还 包括: 接收针对待下线维度的删除指令; 响应于所述删除指令, 删除所述待下线维度以及所述待下线维度对应的位图索引。 7.根据权利要求1所述的方法, 其特征在于, 所述获取实时数据流中的每一待处理数据 中对应至少一个预设维度的数据信息, 包括: 获取实时数据流中的每一 新数据;权 利 要 求 书 1/2 页 2 CN 114925101 A 2按照预设过滤规则对所述每一新数据进行过滤, 将符合所述预设过滤规则的新数据作 为所述待处 理数据; 对所述每一待处 理数据, 分别确定对应至少一个预设维度的数据信息 。 8.一种数据处 理装置, 其特 征在于, 所述装置包括: 第一获取模块, 用于获取实时数据流中的每一待处理数据中对应至少一个预设维度的 数据信息; 第一写入 模块, 用于将所述数据信息分别写入所述预设维度对应的位图索引; 第一确定模块, 用于根据读取指令中的筛 选条件确定 至少一个目标维度; 第二确定模块, 用于在所述目标维度和预设维度匹配的情况下, 确定所述目标维度对 应的位图索引; 运算模块, 用于按照目标逻辑运算关系对所述目标维度对应的位图索引进行逻辑运 算, 获得针对所述读取指令的统计结果。 9.一种存储介质, 其上存储有计算机程序, 其特征在于, 所述计算机程序被处理器执行 时实现权利要求1~7中任一项所述的数据处 理方法。 10.一种电子设备, 其特 征在于, 包括: 处理器; 以及 存储器, 用于存 储所述处 理器的可 执行指令; 其中, 所述处理器配置为经由执行所述可执行指令来执行权利要求1~7中任一项所述 的数据处 理方法。权 利 要 求 书 2/2 页 3 CN 114925101 A 3

PDF文档 专利 数据处理方法、装置、存储介质及电子设备

文档预览
中文文档 22 页 50 下载 1000 浏览 0 评论 0 收藏 3.0分
温馨提示:本文档共22页,可预览 3 页,如浏览全部内容或当前文档出现乱码,可开通会员下载原始文档
专利 数据处理方法、装置、存储介质及电子设备 第 1 页 专利 数据处理方法、装置、存储介质及电子设备 第 2 页 专利 数据处理方法、装置、存储介质及电子设备 第 3 页
下载文档到电脑,方便使用
本文档由 SC 于 2024-02-24 00:40:01上传分享
友情链接
站内资源均来自网友分享或网络收集整理,若无意中侵犯到您的权利,敬请联系我们微信(点击查看客服),我们将及时删除相关资源。