全网唯一标准王
(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210573346.5 (22)申请日 2022.05.24 (71)申请人 武汉虹旭信息技 术有限责任公司 地址 430074 湖北省武汉市江夏区藏龙岛 谭湖2路1号虹信产业园3号楼 (72)发明人 黄盖  (74)专利代理 机构 北京路浩知识产权代理有限 公司 11002 专利代理师 张睿 (51)Int.Cl. G06F 16/22(2019.01) G06F 16/2453(2019.01) G06F 16/2455(2019.01) (54)发明名称 数据检索方法及装置 (57)摘要 本发明提供一种数据检索方法及装置, 所述 方法包括: 基于采集的目标数据, 确定目标HBase 数据表; 基于目标HBase数据表, 确定目标HBase 数据表的elasticsearch索引表 ; 基于 elasticsear ch索引表, 进行数据检索。 本发明提 供的数据检索方法及装置, 通过根据不同的数据 源建立目标HBase数据表, 针对目标HBase数据表 建立对应 的elasticsearch索引表, 通过使 目标 HBase数据表的行键与elasticsearch索引表的 索引键一一对应, 将目标HBase数据表与 elasticsearch索引 表关联起来, 提高了查询效 率, 从而实现对 海量数据的快速查询。 权利要求书2页 说明书9页 附图4页 CN 114969036 A 2022.08.30 CN 114969036 A 1.一种数据检索方法, 其特 征在于, 包括: 基于采集的目标 数据, 确定目标HBase 数据表; 基于所述目标HBase 数据表, 确定所述目标HBase 数据表的elasticsearc h索引表; 基于所述elasticsearc h索引表, 进行 数据检索。 2.根据权利要求1所述的数据检索方法, 其特征在于, 所述基于采集的目标数据, 确定 目标HBase 数据表, 包括: 基于目标数据的标识信息, 确定所述目标HBase数据表的行键; 所述标识信息包括: 记 录的时间和关键 字段; 基于所述行键, 确定所述目标HBase 数据表的数据行; 基于所述行键和所述数据行, 确定目标HBase 数据表。 3.根据权利 要求2所述的数据检索方法, 其特征在于, 所述基于所述目标HBase数据表, 确定所述目标HBase 数据表的elasticsearc h索引表, 包括: 基于所述目标HBase 数据表的行键, 确定所述elasticsearc h索引表的索引键; 基于目标HBase 数据表的字段, 确定所述elasticsearc h索引表的数据行; 基于所述索引键和所述elasticsearch索引表的数据行, 确定所述elasticsearch索引 表。 4.根据权利要求3所述的数据检索方法, 其特征在于, 所述基于所述目标HBase数据表 的行键, 确定所述elasticsearc h索引表的索引键, 包括: 基于所述目标HBase数据表的行键、 分区起始键、 索引ID、 索引值的长度、 索引值和最大 值的时间戳, 确定所述elasticsearc h索引表的索引键 。 5.根据权利要求3所述的数据检索方法, 其特征在于, 所述基于所述elasticsearch索 引表, 进行 数据检索, 包括: 基于查询条件, 遍历所述el asticsearch索引表中的数据行, 确定满足所述查询条件的 索引键; 基于所述满足所述查询条件的索引键, 确定与 所述满足所述查询条件的索引键关联的 行键; 基于所述关联的行键, 在所述目标HBase 数据表中进行 数据检索。 6.根据权利要求1所述的数据检索方法, 其特征在于, 所述基于采集的目标数据, 确定 目标HBase 数据表之前, 还 包括: 按批次去kafka队列抽取 数据, 并过 滤, 获取指定格式的数据集; 对所述数据集中的数据进行解析, 获取原 始数据; 对所述原 始数据进行清洗; 基于预设HBase 数据表结构, 在清洗后的数据中抽取相应记录, 确定目标 数据。 7.一种数据检索装置, 其特 征在于, 包括: 第一确定模块, 用于基于采集的目标 数据, 确定目标HBase 数据表; 第二确定模块, 用于基于所述目标HBase数据表, 确定所述目标HBase数据表的 elasticsearc h索引表; 检索模块, 用于基于所述elasticsearc h索引表, 进行 数据检索。 8.一种电子设备, 包括存储器、 处理器及存储在所述存储器上并可在所述处理器上运权 利 要 求 书 1/2 页 2 CN 114969036 A 2行的计算机程序, 其特征在于, 所述处理器执行所述程序时实现如权利要求1至6任一项所 述数据检索方法。 9.一种非暂态计算机可读存储介质, 其上存储有计算机程序, 其特征在于, 所述计算机 程序被处 理器执行时实现如权利要求1至 6任一项所述数据检索方法。 10.一种计算机程序产品, 包括计算机程序, 其特征在于, 所述计算机程序被处理器执 行时实现如权利要求1至 6任一项所述数据检索方法。权 利 要 求 书 2/2 页 3 CN 114969036 A 3

.PDF文档 专利 数据检索方法及装置

文档预览
中文文档 16 页 50 下载 1000 浏览 0 评论 309 收藏 3.0分
温馨提示:本文档共16页,可预览 3 页,如浏览全部内容或当前文档出现乱码,可开通会员下载原始文档
专利 数据检索方法及装置 第 1 页 专利 数据检索方法及装置 第 2 页 专利 数据检索方法及装置 第 3 页
下载文档到电脑,方便使用
本文档由 人生无常 于 2024-03-18 00:15:17上传分享
友情链接
站内资源均来自网友分享或网络收集整理,若无意中侵犯到您的权利,敬请联系我们微信(点击查看客服),我们将及时删除相关资源。