(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210631641.1 (22)申请日 2022.06.06 (71)申请人 北京友友天宇系统技 术有限公司 地址 100089 北京市海淀区东北旺西路8号 院4号楼一层15 0号 (72)发明人 姚宏宇　朱朝强　田越　 (74)专利代理 机构 北京维正专利代理有限公司 11508 专利代理师 吴英杰 (51)Int.Cl. G06F 16/23(2019.01) G06F 16/27(2019.01) G06F 16/28(2019.01) G06F 16/182(2019.01) G06F 16/25(2019.01) (54)发明名称 基于状态机和数据持久化的数据传输方法、 装置和设备 (57)摘要 本申请的实施例提供了基于状态机和数据 持久化的数据传输方法、 装置、 设备和计算机可 读存储设备。 所述方法包括基于预设批次顺序读 取数据源中的数据， 并依次注册到状态机中； 通 过第一节 点的每个并行线程， 读取已注册的批数 据， 并将其写入持久化存储， 然后对所述批数据 进行处理， 将处理完成后的数据写入持久化存储 以及发送至 下一节点； 同时， 在读取、 处理和完成 开始的时刻将批数据对应的状态上报状态机； 通 过除第一节点外的其它节点， 读取并处理批数 据， 并在处理完成后将处理后的批数据写入持久 化存储以及发送下一节点； 直至所有的批数据存 储到目标数据库中， 完成数据传输。 以此方式， 实 现了数据传输的不中断和高可靠 。 权利要求书2页 说明书7页 附图3页 CN 114969072 A 2022.08.30 CN 114969072 A 1.一种基于状态机和数据持久化的数据传输方法， 其特 征在于， 包括： 基于预设批次顺序读取 数据源中的数据， 并依次注 册到状态机中； 通过第一节点的每个并行线程， 读取已注册的批数据， 并将其写入持久化存储， 然后对 所述批数据进 行处理， 将处理完成后的数据写入持久化存储以及发送至下一节 点； 同时， 在 读取、 处理和完成开始的时刻将所述批数据对应的状态上报状态机； 通过除第一节点外的其它节点， 读取并处理批数据， 并在处理完成后将处理后的批数 据写入持久化存储以及发送下一节点， 同时在读取、 处理和完成开始的时刻将所述批数据 对应的状态上报状态机； 直至所有的批数据存 储到目标 数据库中， 完成数据传输； 若节点中的任一线程出现异常告警， 则将对应批数据的异常上报至状态机； 状态机根 据异常处 理策略驱动对应节点进行相应处 理。 2.根据权利要求1所述的方法， 其特征在于， 所述基于预设批次顺序读取数据源中的数 据， 并依次注 册到状态机中包括： 其中， 每个批数据均带有唯一的顺序编码； 基于网络条件、 单 行数据量的大小和/或数据处 理的复杂度， 进行批次划分； 根据划分的批次， 顺序读取 数据源中的数据， 并依次注 册到状态机中。 3.根据权利要求1所述的方法， 其特征在于， 所述状态机包括状态预定义、 对象注册、 状 态注册、 状态订阅、 状态发布、 状态更新、 状态同步、 状态 清除和/或异常状态告警。 4.根据权利要求1所述的方法， 其特 征在于， 还 包括： 在每个批数据存入目标数据后， 删除状态机 中与该批数据对应的状态以及持久化存储 中该批数据唯一编号下的所有相关数据。 5.根据权利要求1所述的方法， 其特征在于， 所述持久化存储包括存储适配器接口、 内 置文件存储、 内置Mysql数据库、 内存缓存数据库、 外接关系型数据库、 外接对象存储、 外接 文件存储和/或外 接NFS服务。 6.根据权利要求1所述的方法， 其特征在于， 所述异常处理策略包括丢弃、 跳过、 重试、 退回和/或挂 起。 7.根据权利要求6所述的方法， 其特征在于， 所述状态机根据异常处理策略驱动对应节 点进行相应处 理包括： 若所述异常处理策略为退回， 则状态机根据该批数据的状态数据， 将异常批数据的编 号发送给发生异常节点的上一个正常处理节点， 该节点接 收到编号后， 根据编号向持久化 存储提取该编号批数据经本节点处理后的数据， 并发送下一节点， 重新对该批数据进行处 理。 8.一种基于状态机和数据持久化的数据传输装置， 其特 征在于， 包括： 注册模块， 用于基于预设批次顺序读取 数据源中的数据， 并依次注 册到状态机中； 第一处理模块， 用于通过第 一节点的每个并行线程， 读取已注册的批数据， 并将其写入 持久化存储， 然后对所述批数据进行处理， 将处理完成后的数据写入持久化存储以及发送 至下一节点； 同时， 在读取、 处 理和完成开始的时刻将所述批数据对应的状态上报状态机； 第二处理模块， 用于通过除第 一节点外的其它节点， 读取并处理批数据， 并在处理完成 后将处理后的批数据写入持久化存储以及发送下一节点， 同时在读取、 处理和完成开始的 时刻将所述批数据对应的状态上报状态机； 直至所有的批数据存储到目标数据库中， 完成权　利　要　求　书 1/2 页 2 CN 114969072 A 2数据传输 。 9.一种电子设备， 包括存储器和处理器， 所述存储器上存储有计算机程序， 其特征在 于， 所述处 理器执行所述计算机程序时实现如权利要求1~7中任一项所述的方法。 10.一种计算机可读存储设备， 其上存储有计算机程序， 其特征在于， 所述计算机程序 被处理器执行时实现如权利要求1~7中任一项所述的方法。权　利　要　求　书 2/2 页 3 CN 114969072 A 3