(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211161771.X (22)申请日 2022.09.23 (71)申请人 平安科技 （深圳） 有限公司 地址 518000 广东省深圳市福田区福田街 道福安社区益田路5033号平 安金融中 心23楼 (72)发明人 易晓博　 (74)专利代理 机构 深圳国新 南方知识产权代理 有限公司 4 4374 专利代理师 李小东 (51)Int.Cl. G06F 16/215(2019.01) G06F 16/2455(2019.01) G06F 16/2458(2019.01) G06F 16/27(2019.01) (54)发明名称 基于分布式系统的数据处理方法、 装置、 设 备及存储介质 (57)摘要 本发明涉及计算机技术领域， 公开了一种基 于分布式系统的数据处理方法、 装置、 设备及存 储介质。 该方法包括： 接收生产模块中各第一分 布式节点发送的预提交消息数据并将预提交消 息数据缓存至中间模块中； 获取各第一分布式节 点的预设事务ID并实时接收与各预设事务ID对 应的第一分布式节点所发送的预设标识； 当成功 接收到所有预设事务ID对应的第一分布式节点 所发送的预设标识时， 将预提交消息数据转化为 目标消息 数据以供消费模块消费， 并读取各第一 分布式节 点的数据偏移量状态， 将各第一分布式 节点的所述数据偏移量状态存储到状态缓存模 块中。 通过上述方式， 本发明能够实现端到端的 数据一致性， 提高数据准确性和处 理效率。 权利要求书2页 说明书9页 附图5页 CN 115470205 A 2022.12.13 CN 115470205 A 1.一种基于分布式系统的数据处理方法， 其特征在于， 所述分布式系统包括生产模块、 与所述生产模块连接的中间模块、 与所述中间模块连接的消费模块以及分别与所述生产模 块、 所述消费模块连接的状态缓存 模块， 所述数据处 理方法包括： 接收所述生产模块中各第一分布式节点发送的预提交消息数据并将所述预提交消息 数据缓存至所述中间模块中； 获取各所述第一分布式节点的预设事务ID并实时接收与各所述预设事务ID对应的第 一分布式节点所发送的预设标识； 当成功接收到所有所述预设事务ID对应的第 一分布式节点所发送的预设标识时， 将所 述预提交消息数据转化为目标消息数据以供所述消费模块消费， 并读取各所述第一分布式 节点的数据偏移 量状态， 将各所述第一分布式节 点的所述数据偏移 量状态存储到所述状态 缓存模块中。 2.根据权利要求1所述的数据处理方法， 其特征在于， 所述接收所述生产模块中各第 一 分布式节点 发送的预提交消息数据并将所述预提交消息数据缓存至所述中间模块中之前， 还包括： 获取所述生产模块中各第一分布式节点对所述预提交消息数据的加工及发送事 件； 基于所述加工及发送事件为各所述第 一分布式节点配置所述预设事务ID， 并通过预设 计算引擎计算各 所述第一分布式节点的数据偏移量状态； 将各所述第一分布式节点的数据偏移量状态缓存至所述 生产模块的内存中。 3.根据权利要求1所述的数据处理方法， 其特征在于， 所述获取各所述第 一分布式节点 的预设事务ID并实时接 收与各所述预设事务ID对应的第一分布式节点所发送的预设标识 之后， 还包括： 当未成功接收到所有所述预设事务ID对应的第 一分布式节点所发送的预设标识时， 丢 弃所述预提交消息数据， 并从所述状态缓存模块中重新读取各所述第一分布式节点的上一 次数据偏移 量状态， 基于所述生产模块根据各所述第一分布式节点的上一次数据偏移量状 态对所述预提交消息数据进行重新处 理。 4.根据权利要求1所述的数据处理方法， 其特征在于， 所述当成功接收到所有所述预设 事务ID对应的第一分布式节 点所发送的预设标识时， 将所述预提交消息数据转化为目标消 息数据以供所述消费模块消费， 并读取各所述第一分布式节点的数据偏移量状态， 将各所 述第一分布式节点的所述数据偏移量状态存 储到所述状态缓存 模块中之后， 还 包括： 发送所述目标数据给所述消费模块并实时获取所述消费模块中各第二分布式节点对 所述目标 数据的消费及加工成功事 件； 基于所述消费及加工成功事件通过预设计算引擎计算各所述第二分布式节点的数据 偏移量状态， 并将各所述第二分布式节点的数据偏移量状态存储到所述消费模块的内存 中。 5.根据权利要求4所述的数据处理方法， 其特征在于， 所述发送所述目标数据给所述消 费模块并实时获取所述消费模块中各第二分布式节点对所述目标数据的消费及加工成功 事件之后， 还 包括： 当获取到所有所述目标数据的消费及加工成功事件时， 读取各所述第 二分布式节点的 数据偏移量状态， 将各所述第二分布式节点的数据偏移量状态缓存至所述状态缓存模块权　利　要　求　书 1/2 页 2 CN 115470205 A 2中。 6.根据权利要求4所述的数据处理方法， 其特征在于， 所述发送所述目标数据给所述消 费模块并实时获取所述消费模块中各第二分布式节点对所述目标数据的消费及加工成功 事件之后， 还 包括： 当未获取到所有所述目标数据的消费及加工成功事件时， 放弃对所述目标数据的消费 及加工处理， 并从所述状态缓存模块中重新读取各所述第二分布式节点的上一次数据偏移 量状态， 根据各所述第二分布式节点的上一次数据偏移 量状态对所述目标数据进 行重新消 费及加工处 理。 7.根据权利要求5所述的数据处理方法， 其特征在于， 所述读取各所述第 一分布式节点 的数据偏移 量状态， 将各所述第一分布式节点的所述数据偏移 量状态存储到所述状态缓存 模块中包括： 读取各所述第 一分布式节点的数据偏移量状态， 将各所述第 一分布式节点与对应的数 据偏移量状态进行关联绑定， 得到第一关联绑定结果， 将所述第一关联绑定结果存储到所 述状态缓存 模块中； 所述读取各所述第 二分布式节点的数据偏移量状态， 将各所述第 二分布式节点的数据 偏移量状态缓存至所述状态缓存 模块中包括： 读取各所述第 二分布式节点的数据偏移量状态， 将各所述第 二分布式节点与对应的数 据偏移量状态进行关联绑定， 得到第二关联绑定结果， 将所述第二关联绑定结果存储到所 述状态缓存 模块中。 8.一种数据处 理装置， 其特 征在于， 包括： 第一接收模块， 用于接收所述生产模块中各第 一分布式节点发送的预提交消息数据并 将所述预提交消息数据缓存至所述中间模块中； 第二接收模块， 用于获取各所述第 一分布式节点的预设事务ID并实时接收与各所述预 设事务ID对应的第一分布式节点所发送的预设标识； 执行模块， 用于当成功接收到所有所述预设事务ID对应的第一分布式节点所发送的预 设标识时， 将所述预提交消息数据转化为 目标消息数据以供所述消费模块消费， 并读取各 所述第一分布式节点的数据偏移 量状态， 将各所述第一分布式节点的所述数据偏移 量状态 存储到所述状态缓存 模块中。 9.一种计算机设备， 包括： 存储器、 处理器及存储在存储器上并可在处理器上运行的计 算机程序， 其特征在于， 所述处理器执行所述计算机程序时实现如权利要求 1‑7任一项所述 的基于分布式系统的数据处 理方法。 10.一种计算机存储介质， 其上存储有计算机程序， 其特征在于， 所述计算机程序被处 理器执行时实现如权利要求1 ‑7中任一项所述的基于分布式系统的数据处 理方法。权　利　要　求　书 2/2 页 3 CN 115470205 A 3