全网唯一标准王
(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210612086.8 (22)申请日 2022.05.31 (71)申请人 京东科技控股 股份有限公司 地址 100176 北京市大兴区北京经济技 术 开发区科创十一 街18号C座2层2 21室 (72)发明人 许吉  (74)专利代理 机构 中科专利商标代理有限责任 公司 11021 专利代理师 樊晓 (51)Int.Cl. G06F 16/23(2019.01) G06F 16/22(2019.01) G06F 16/215(2019.01) (54)发明名称 数据处理方法及 装置、 电子设备和计算机可 读存储介质 (57)摘要 本公开提供了一种数据处理方法及装置、 电 子设备和计算机可读存储介质, 可用于大数据技 术领域。 该数据处理方法包括: 将从第一数据列 表中提取到的第一数据存储至键值存储区; 将从 第二数据列表中提取到的第二数据, 与键值存储 区中的第一数据进行比较; 在键值存储区中包含 与第二数据相同的第一数据的情况下, 从键值存 储区中删除与第二数据相同的第一数据; 在键值 存储区中不包含与第二数据相同的第一数据的 情况下, 将第二数据存储至键值存储区; 根据从 键值存储区中提取的数据生成变更列表。 权利要求书2页 说明书13页 附图5页 CN 114925080 A 2022.08.19 CN 114925080 A 1.一种数据处 理方法, 包括: 将从第一数据列表中提取到的第一数据存 储至键值存储区; 将从第二数据列表中提取到的第 二数据, 与所述键值存储区中的所述第 一数据进行比 较; 在所述键值存储区中包含与 所述第二数据相同的第 一数据的情况下, 从所述键值存储 区中删除与所述第二数据相同的第一数据; 在所述键值存储区中不包含与所述第 二数据相同的第 一数据的情况下, 将所述第 二数 据存储至所述键值存 储区; 根据从所述键值存 储区中提取的数据生成变更列表。 2.根据权利要求1所述的方法, 还 包括: 在所述将从第 一数据列表中提取到的第 一数据存储至键值存储区后, 对存储至所述键 值存储区的第一数据添加第一标识; 在所述将所述第 二数据存储至所述键值存储区后, 对存储至所述键值存储区的第 二数 据添加第二标识。 3.根据权利要求2所述的方法, 其中, 从所述键值存储区中提取的数据包括: 所述键值 存储区中未被删除且被添加有 所述第一标识的目标第一数据, 以及在所述键值存储区中新 增存储且被添加有所述第二标识的目标第二数据; 所述根据从所述键值存 储区中提取的数据生成变更列表包括: 根据添加有所述第一标识的所述目标第一数据, 生成删除列表; 根据添加有所述第二标识的所述目标第二数据, 生成新增列表。 4.根据权利要求1所述的方法, 其中, 所述第一数据列表包括多个, 多个所述第一数据 列表分别位于多个不同的预定存储节点中, 所述第二数据列表包括多个, 多个所述第二数 据列表也分别位于所述多个不同的预定存 储节点中, 所述方法还 包括: 利用预设算法, 将第 一原始数据列表中的数据分片存储至多个所述预定存储节点并形 成多个所述第一数据列 表、 以及将第二原始数据列 表中的数据分片存储至多个所述预定存 储节点并形成多个所述第二数据列 表, 其中, 在所述第一原始数据列表中的第一目标数据, 和所述第二原始数据列 表中的第二目标数据为相同的数据的情况下, 所述第一目标数据和 所述第二目标 数据被存 储至相同的预定存 储节点。 5.根据权利要求 4所述的方法, 其中, 所述预设算法为哈希算法; 利用预设算法, 将第一原始数据列表中的数据分片存储至多个所述预定存储节点包 括: 利用所述哈希算法, 分别计算得到所述第一原 始数据列表中的每 个数据的哈希值; 分别将所述第 一原始数据列表中的每个数据的哈希值, 针对多个所述预定存储节点的 总数量取余, 得到所述第一原 始数据列表中的每 个数据对应的余数; 将与同一个目标余数关联的所述第 一原始数据列表中的数据, 存储至多个所述预定存 储节点中的同一个目标 预定存储节点。 6.一种数据处 理装置, 包括: 第一存储模块, 用于将从第一数据列表中提取到的第一数据存 储至键值存储区; 比较模块, 用于将从第二数据列表中提取到的第二数据, 与所述键值存储区中的所述权 利 要 求 书 1/2 页 2 CN 114925080 A 2第一数据进行比较; 删除模块, 用于在所述键值存储区中包含与所述第二数据相同的第一数据的情况下, 从所述键值存 储区中删除与所述第二数据相同的第一数据; 第二存储模块, 用于在所述键值存储区中不包含与所述第 二数据相同的第 一数据的情 况下, 将所述第二数据存 储至所述键值存 储区; 生成模块, 用于根据从所述键值存 储区中提取的数据生成变更列表。 7.根据权利要求6所述的装置, 还 包括: 第一添加模块, 用于在所述将从第 一数据列表中提取到的第 一数据存储至键值存储区 后, 对存储至所述键值存 储区的第一数据添加第一标识; 第二添加模块, 用于在所述将所述第二数据存储至所述键值存储区后, 对存储至所述 键值存储区的第二数据添加第二标识。 8.根据权利要求7所述的装置, 其中, 从所述键值存储区中提取的数据包括: 所述键值 存储区中未被删除且被添加有 所述第一标识的目标第一数据, 以及在所述键值存储区中新 增存储且被添加有所述第二标识的目标第二数据; 所述生成模块包括: 第一生成单元, 用于根据添加有所述第一标识的所述目标第一数据, 生成删除列表; 第二生成单元, 用于根据添加有所述第二标识的所述目标第二数据, 生成新增列表。 9.一种电子设备, 包括: 一个或多个处 理器; 存储装置, 用于存 储一个或多个程序, 其中, 当所述一个或多个程序被所述一个或多个处理器执行时, 使得所述一个或多个 处理器执行根据权利要求1~5中任一项所述的方法。 10.一种计算机可读存储介质, 其上存储有可执行指令, 该指令被处理器执行时使处理 器执行根据权利要求1~5中任一项所述的方法。 11.一种计算机程序产品, 包括计算机程序, 所述计算机程序被处理器执行时实现根据 权利要求1~5中任一项所述的方法。权 利 要 求 书 2/2 页 3 CN 114925080 A 3

PDF文档 专利 数据处理方法及装置、电子设备和计算机可读存储介质

文档预览
中文文档 21 页 50 下载 1000 浏览 0 评论 0 收藏 3.0分
温馨提示:本文档共21页,可预览 3 页,如浏览全部内容或当前文档出现乱码,可开通会员下载原始文档
专利 数据处理方法及装置、电子设备和计算机可读存储介质 第 1 页 专利 数据处理方法及装置、电子设备和计算机可读存储介质 第 2 页 专利 数据处理方法及装置、电子设备和计算机可读存储介质 第 3 页
下载文档到电脑,方便使用
本文档由 SC 于 2024-02-24 00:49:39上传分享
友情链接
站内资源均来自网友分享或网络收集整理,若无意中侵犯到您的权利,敬请联系我们微信(点击查看客服),我们将及时删除相关资源。