(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210582055.2 (22)申请日 2022.05.26 (71)申请人 中国平安人寿保险股份有限公司 地址 518000 广东省深圳市福田区福田街 道益田路5033号平安金融中心14、 15、 16、 37、 41、 4 4、 45、 46、 54、 58、 59层 (72)发明人 罗志权　 (74)专利代理 机构 广州嘉权专利商标事务所有 限公司 4 4205 专利代理师 廖慧贤 (51)Int.Cl. G06F 16/25(2019.01) G06F 16/2455(2019.01) G06F 16/22(2019.01) (54)发明名称 数据处理方法、 装置和系统、 电子设备及存 储介质 (57)摘要 本申请提供了一种数据处理方法、 装置和系 统、 电子设备及存储介质， 属于人工智 能技术领 域。 方法包括： 从预设数据库中读取原始数据集 和索引信息； 对原始数据集进行预处理得到初步 数据集； 初步数据集包括M 条初步子数据， 索引信 息包括N个主键， 每一主键用于标识一条初步子 数据， N小于或者等于M； 通过预设的唯一标识对 每一初步子数据进行标记处理得到目标数据， 每 一目标数据包括一条目标子数据和对应的唯一 标识； 根据主键将目标数据写入目标数据库； 根 据输入顺序将唯一标识写入预设的消息队列； 将 消息队列的唯一标识发送提供给K个消费端， 以 使消费端根据唯一标识从目标数据库获取目标 数据， K小于或者等于M。 本申请能够提高数据处 理的效率。 权利要求书2页 说明书14页 附图5页 CN 114925125 A 2022.08.19 CN 114925125 A 1.一种数据处 理方法， 其特 征在于， 所述方法包括： 从预设数据库中读取原 始数据集和索引信息； 对所述原始数据集进行预处理， 得到初步数据集； 其中， 所述初步数据集包括M条初步 子数据， 所述索引信息包括 N个主键， 每一主键用于标识一条初步子数据， N小于或者 等于M； 通过预设的唯一标识对每一初步子数据进行标记处理， 得到目标数据， 其中， 每一所述 目标数据包括 一条目标子数据和对应的唯一标识； 根据所述主键将所述目标 数据写入目标 数据库； 根据预设的输入顺序将所述唯一标识写入预设的消息队列； 根据所述消息队列的输出顺序将所述消息队列的所述唯一标识提供给K个消费端， 以 使每一所述消费端获取所述唯一标识， 并根据所述唯一标识从所述目标数据库获取所述目 标数据， K小于或者 等于M。 2.根据权利要求1所述的数据处理方法， 其特征在于， 所述通过预设的唯一标识对每一 初步子数据进行 标记处理， 得到目标 数据的步骤， 包括： 获取M个所述唯一标识， 其中， 所述唯一标识为字符串； 对所述唯一标识进行排序处 理， 得到第一标识序列； 根据所述第一标识序列将所述唯一标识写入每一所述初步子数据对应的预设标签框 中， 得到所述目标 数据。 3.根据权利要求1所述的数据处理方法， 其特征在于， 所述根据 所述主键将所述目标数 据写入目标 数据库的步骤， 包括： 对每一所述主键进行关键 字提取， 得到每一所述初步子数据的索引关键 字； 根据所述索引关键字对每一所述目标数据进行位置识别， 得到每一所述目标子数据的 行特征和列特 征， 其中， 所述目标子数据来源于所述初步子数据； 根据所述行 特征和所述列特 征将对应的每一所述目标 数据写入所述目标 数据库。 4.根据权利要求1所述的数据处理方法， 其特征在于， 所述根据 预设的输入顺序将所述 唯一标识写入预设的消息队列的步骤， 包括： 获取所述输入顺序， 其中， 所述输入顺序根据所述唯一标识的字符长度确定； 根据所述输入顺序对所述唯一标识进行排序处 理， 得到第二标识序列； 根据所述第二标识序列将所述唯一标识写入所述消息队列。 5.根据权利要求1所述的数据处理方法， 其特征在于， 所述对所述原始数据集进行预处 理， 得到初步数据集的步骤， 包括： 对所述原 始数据集进行 数据清洗处 理， 得到第一数据集； 对所述第一数据集进行 数据去重处 理， 得到所述初步数据集。 6.根据权利要求1至5任一项所述的数据处理方法， 其特征在于， 所述根据所述消息队 列的输出顺序将所述消息队列的所述唯一标识提供给K个消费端， 以使每一所述消费端获 取所述唯一标识， 并根据所述唯一标识从所述目标 数据库获取 所述目标 数据的步骤， 包括： 获取数据发送指令； 根据所述数据发送指令以及所述输出顺序， 将所述消息队列的唯一标识依次发送给K 个所述消费端， 以使每一所述消费端对获取到的所述唯一标识进行特征提取， 得到标签字 段值， 并根据所述标签字段值对所述 目标数据库的目标数据进行筛选处理， 得到所述唯一权　利　要　求　书 1/2 页 2 CN 114925125 A 2标识对应的所述目标子数据。 7.一种数据处 理装置， 其特 征在于， 所述装置包括： 第一获取模块， 用于从预设数据库中读取原 始数据集和索引信息； 预处理模块， 用于对所述原始数据集进行预处理， 得到初步数据集； 其中， 所述初步数 据集包括M条初步子数据， 所述索引信息包括N个主键， 每一主键用于标识 一条初步子数据， N小于或者 等于M； 标记模块， 用于通过预设的唯一标识对每一初步子数据进行标记 处理， 得到目标数据， 其中， 每一所述目标 数据包括 一条目标子数据和对应的唯一标识； 数据写入 模块， 用于根据所述主键将所述目标 数据写入目标 数据库； 标识写入 模块， 用于根据预设的输入顺序将所述唯一标识写入预设的消息队列； 发送模块， 用于根据 所述消息队列的输出顺序将所述消息队列的所述唯一标识提供给 K个消费端， 以使每一所述消费端获取所述唯一标识， 并根据所述唯一标识从所述目标数据 库获取所述目标 数据， K小于或者 等于M。 8.一种数据处 理系统， 其特 征在于， 所述数据处 理系统包括 生产端和 消费端； 其中， 所述 生产端用于执 行如权利要求1至 6任一项所述的数据处 理方法的步骤； 所述消费端用于从所述消息队列中获取生产端写入的所述唯一标识， 并根据 所述唯一 标识从所述目标 数据库中获取对应的所述目标 数据， 以对所述目标 数据进行 数据处理。 9.一种电子设备， 其特征在于， 所述电子设备包括存储器、 处理器、 存储在所述存储器 上并可在所述处理器上运行的程序以及用于实现所述处理器和所述存储器之间的连接通 信的数据总线， 所述程序被所述处理器执行时实现如权利要求1至6任一项所述的数据处理 方法的步骤。 10.一种存储介质， 所述存储介质为计算机可读存储介质， 用于计算机可读存储， 其特 征在于， 所述存储介质存储有一个或者多个程序， 所述一个或者多个程序可被一个或者多 个处理器执行， 以实现如权利要求1至 6任一项所述的数据处 理方法的步骤。权　利　要　求　书 2/2 页 3 CN 114925125 A 3