(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210759076.7 (22)申请日 2022.06.29 (71)申请人 马上消费金融股份有限公司 地址 401121 重庆市渝北区黄山大道中段 52号渝兴广场B2栋4至8楼 (72)发明人 刘烨　吴海英　郭剑霓　刘磊　 郭江　 (74)专利代理 机构 深圳市威世博知识产权代理 事务所(普通 合伙) 44280 专利代理师 何倚雯 (51)Int.Cl. H04L 67/1095(2022.01) G06F 9/50(2006.01) G06F 9/54(2006.01) G06F 16/215(2019.01)G06F 16/25(2019.01) G06F 16/27(2019.01) H04L 67/02(2022.01) H04L 67/06(2022.01) H04L 67/1097(2022.01) H04L 69/04(2022.01) (54)发明名称 数据处理方法、 系统、 电子设备以及计算机 可读存储介质 (57)摘要 本申请公开了数据处理方法、 系统、 电子设 备以及计算机可读存储介质。 该方法应用于数据 处理系统， 数据处理系统包括多个层级节点， 该 方法包括： 若当前层级节点为第一层级节点， 则 当前层级节点获取待处理数据， 若当前层级节点 不为第一层级节点， 则当前层 级节点获取上一层 级节点发送的待处理数据； 当前层级节点对待处 理数据进行筛选， 并将筛选后的待处理数据的文 件格式转换为列存储文件格式进行存储； 当前层 级节点向下一层级节点发送数据抓取通知； 响应 于下一层 级节点的数据抓取指令， 当前层级节点 将转化为列存储文件格式的待处理数据发送至 下一层级节点； 其中， 数据抓取指令基于数据抓 取通知生成。 通过上述方式， 能够提升数据传输 效率。 权利要求书2页 说明书11页 附图8页 CN 115378958 A 2022.11.22 CN 115378958 A 1.一种数据处理方法， 其特征在于， 所述方法应用于数据处理系统， 所述数据处理系统 包括多个层级节点， 所述方法包括： 若当前层级节点为第一层级节点， 则所述当前层级节点获取待处理数据， 若所述当前 层级节点 不为第一层级节点， 则所述当前层级节点获取 上一层级节点发送的待处 理数据； 所述当前层级节点对所述待处理数据进行筛选， 并将筛选后的待处理数据的文件格式 转换为列存 储文件格式进行存 储； 所述当前层级节点向下一层级节点发送数据抓取通知； 响应于所述下一层级节点的数据抓取指令， 所述当前层级节点将转化为列存储文件格 式的待处理数据发送至所述下一层级节点； 其中， 所述数据抓取指令基于所述数据抓取通 知生成。 2.根据权利要求1所述的方法， 其特征在于， 所述当前层级节点对所述待处理数据进行 筛选， 并将筛 选后的待处 理数据的文件格式转换为列存 储文件格式进行存 储， 包括： 当前层级节点对所述待处 理数据进行筛 选； 将筛选后的待处 理数据的文件格式转换为列存 储文件格式； 获取预设压缩格式； 根据所述预设压缩格式将转换为列存 储文件格式的待处 理数据进行压缩并存 储。 3.根据权利要求1所述的方法， 其特征在于， 若所述当前层级节点不为第一层级节点， 则所述方法还 包括： 所述当前层级节点响应于所述数据抓取通知， 获取上一层级节点中筛选后的所述待处 理数据的文件列表； 所述当前层级节点 根据所述文件列表， 启用多 线程抓取筛选后的所述待处 理数据。 4.根据权利要求1所述的方法， 其特征在于， 所述当前层级节点将转化为列存储文件格 式的待处 理数据发送至所述下一层级节点， 包括： 所述当前层级节点将转化为列存储文件格式的所述待处理数据存储至嵌入式数据库 中； 所述当前层级节点遍历所述嵌入式数据库， 获取转化为列存储文件格式的所述待处理 数据， 并将转 化为列存储文件格式的所述待处 理数据添加至消息队列中； 所述当前层级节点通过所述消息队列将转化为列存储文件格式的待处理数据发送至 所述下一层级节点。 5.根据权利要求4所述的方法， 其特征在于， 所述当前层级节点将转化为列存储文件格 式的所述待处 理数据存 储至嵌入式数据库中， 包括： 所述当前层级节点 解析转化为列存储文件格式的所述待处 理数据； 所述当前层级节点将解析后的所述待处理数据转化为对象简谱文件格式并存储至所 述嵌入式数据库中。 6.根据权利要求4所述的方法， 其特征在于， 所述当前层级节点将转化为列存储文件格 式的所述待处 理数据存 储至嵌入式数据库中， 包括： 所述当前层级节点将转 化为列存储文件格式的待处 理数据进行 数据清洗； 所述当前层级节点将清洗后的所述待处 理数据存 储至嵌入式数据库中。 7.根据权利要求1所述的方法， 其特征在于， 若当前层级节点为第一层级节点， 所述当权　利　要　求　书 1/2 页 2 CN 115378958 A 2前层级节点获取待处 理数据， 包括： 所述当前层级节点利用数据同步工具从多个数据库中获取待处 理数据。 8.一种数据处理系统， 其特征在于， 所述数据处理系统包括多个层级节点； 每一层级节 点用于实现如权利要求1 ‑7任一项所述的方法。 9.一种电子设备， 其特征在于， 所述电子设备包括处理器以及与所述处理器耦接的存 储器， 所述存储器中存储有计算机程序， 所述处理器用于执行所述计算机程序以实现如权 利要求1‑7任一项所述的方法。 10.一种计算机可读存储介质， 其特征在于， 所述计算机可读存储介质存储有计算机程 序， 所述计算机程序在被处 理器执行时， 实现如权利要求1 ‑7任一项所述的方法。权　利　要　求　书 2/2 页 3 CN 115378958 A 3