(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210548226.X (22)申请日 2022.05.20 (71)申请人 南京迪塔维数据技 术有限公司 地址 210012 江苏省南京市雨 花台区软件 大道180号02栋 6层602室 (72)发明人 孙震坚　季春东　张大庆　王珂　 (74)专利代理 机构 南京睿之博知识产权代理有 限公司 32 296 专利代理师 杨雷 (51)Int.Cl. G06F 16/25(2019.01) G06F 16/23(2019.01) G06F 16/27(2019.01) G06F 16/28(2019.01) G06F 9/54(2006.01) (54)发明名称 一种数据统一实时采集装置及采集方法 (57)摘要 一种数据统一 实时采集装置及 采集方法， 建 立数据传输管道， 在数据传输 管道中定义标准的 数据格式， 各异构数据格式向数据传输管道数据 格式进行标准转换或映射； 数据传输管道采集的 数据建立统一模型结构， 进行数据交互， 完成数 据采集； 所述数据交互包括： 处理器应用注册、 编 排、 部署以及卸载管理； 对源端数据的实时变化 检测读取后， 将数据采集交互装置建立的数据交 互后写入数据传输管道； 写入数据传输管道的数 据进行实时流动， 后续环节各处理器实时对数据 进行处理。 解决离散异构数据的集中采集， 提升 采集应用的可复用性， 满足上层业务或应用对实 时性的要求； 解决海量日志或流水数据的并行采 集， 充分发挥现有硬件资源的效能， 并支持断点 续传。 权利要求书3页 说明书11页 附图1页 CN 115269694 A 2022.11.01 CN 115269694 A 1.一种数据统一实时采集装置， 其特 征在于包括： 数据格式转换装置： 建立用于接收源端数据的数据传输管道， 在数据传输管道中定义 标准的数据传输管道数据格式， 各异构数据格式 向数据传输管道数据格式进 行标准转换或 映射； 数据采集交互装置： 经过标准转换或映射后的数据传输管道数据建立统一模型结构， 进行数据交互； 所述数据交 互包括： 处 理器应用注册、 编排、 部署以及卸载 管理； 数据写入装置： 对源端数据的实时变化检测读取后， 将经过数据采集交互装置交互后 的数据写入数据传输管道； 数据处理装置： 写入数据传输管道的数据进行实时流动， 各处理器应用实时对数据进 行处理。 2.根据权利要求1所述的数据统一实时采集装置， 其特征在于上述数据采集交互装置 作为所有采集事务的逻辑划分， 由一组处理器应用进行有序编排组合而成， 数据采集交互 装置的模型 结构如下： 每个处理器应用有且仅有一个采集器； 每个处理器应用配置相匹配的转换器， 支持多 个转换器进行先后串行处理； 每个处理器应用至少有一个输出器， 支持将当前任务数据写 入多个目标 数据存储； 每个处理器应用按照先采集、 然后转换、 再写入的顺序进行编排。 3.根据权利要求2所述的数据统一实时采集装置， 其特征在于上述采集器、 转换器、 输 出器满足以下条件： 有且仅有一个输入端口； 有且仅有一个输出端口； 采集器的输出端与数 据传输管道的输入端连接； 转换器的输入、 输出端均与数据传输管道连接； 输出器的输入端 与数据传输管道连接 。 4.根据权利要求1所述的数据统一实时采集装置， 其特征在于上述数据传输管道作为 数据流动的中枢， 在物理上与各类处 理器应用建立连接， 采用如下模型 结构： 1.1数据传输管道由上游入口流向下游出口， 所有数据遵循先进先出的队列规则， 沿同 一方向流动； 1.2数据传输管道上设置若干个用于连接处理器应用的连接端口， 每个连接端口对数 据传输管道中数据的访问形式为读取或写入中的一种； 1.3数据在数据传输管道内会被物理切分为多个分区， 这些数据分区按一定的规则分 布于集群存 储中； 1.4数据传输管道缓冲或存储内部流动的数据， 同时也负责记录和存储各处理器应用 对每条数据的处 理位置。 5.根据权利要求1所述的数据统一实时采集装置， 其特征在于上述标准的数据格式包 括统一的数据类型和记录结构； 所述数据类型包括但不限于： 字符串、 整数、 小数、 布尔、 二进制、 对象、 结构、 数组； 所述数据记录结构包括： 记录头、 记录键、 记录值， 记录键、 记录值分别包含字段结构和 字段值。 6.基于权利要求1 ‑5任一项所述的数据统一实时采集装置的采集方法， 其特征在于包 括如下步骤： 采集器启动， 通过预先准备的访问账号与数据源建立连接； 首次启动时， 采集器会读取 源库中各表的当前数据， 做一次全量的数据读取， 并将读取到的数据写入数据传输管道， 并权　利　要　求　书 1/3 页 2 CN 115269694 A 2记录源端处 理的当前位置； 采集器进入增量采集阶段， 根据上一次记录的处理位置， 按顺序读取， 直到数据的最新 位置； 采集器进入监听数据库变化阶段， 由于采集器是基于订阅机制， 源端的任何变化都会 实时通知到采集器 应用； 采集器将获得的原始数据， 经由内部转换为数据传输管道标准的数据格式， 并通过采 集器的输出端口写入管道； 采集器在将数据写入数据传输管道 时， 根据当前所需采集的规 模， 为当前采集任务设定管道内数据分区数量的初始 值， 作为后续自动负荷均衡的参考； 数 据写入数据传输管道时， 将由数据传输管道负责记录采集器当前处 理数据的状态和位置； 采集器保持监听状态并持续处 理新数据， 直到人工退 出或遇错退 出； 采集器退出重启时， 由于上述过程中实时记录了采集器最后处理数据的位置， 采集器 将从最后的处 理位置继续工作。 7.根据权利要求6所述的采集方法， 其特征在于上述数据写入数据传输管道时， 根据处 理应用写入指 定的初始分区数， 对每条数据进行分区计算， 并将分区与集群节 点进行关联， 过程如下： 获取当前 数据记录的记录 键的字段值， 对字段值进行散列计算， 获得一个数字 散列值； 根据上述散列值对分区数进行 取模计算， 获得 该数据记录所应存 入的分区号； 数据传输管道根据上述分区计算结果， 将每条 数据写入 对应的集群分区； 数据传输管道记录处理器应用的当前状态和位置， 以便在处理器应用退出重启后， 从 最新的位置继续处 理； 重复上述过程。 8.根据权利要求6所述的采集方法， 其特征在于采集器将 获得的原始数据， 经由内部转 换为数据传输管道标准的数据格式， 并通过采集器的输出端口写入管道； 具体过程如下: 对数据传输管道中的数据进行实时变换， 包括对数据结构和数据值的变换； 处理程序启动， 连接数据传输管道， 并根据设定的订阅条件获得数据流， 数据传输管道 中数据流动时将实时进入转换器进行处 理； 转换器读取到数据传输管道中的数据流时， 对数据流中的每一条数据进行处理； 当前 转换器设定为对MSG字段进 行特征格式识别， 并将识别结果写会MSG字段； 数据 记录内MSG字 段原始值； 特征识别采用字符串正则匹配； 更新MSG字段， 替换原 始值； 完成一次转换 过程； 转换器将处理完的数据记录， 以新数据流的形式写回到管道， 以便后续处理程序继续 处理。 9.根据权利要求6所述的采集方法， 其特征在于还包括将数据传输管道中的数据实时 输出到外部目标系统， 具体过程如下: 输出器处理程序启动， 连接数据传输管道， 并根据设定的订阅条件获得数据流， 数据传 输管道中数据流动时将实时进入输出器进行处 理； 输出器读取到数据传输管道中的数据流时， 对数据流中的每一条数据进行处理； 读取 数据记录的记录键， 并将记录键中的各字段作为目标表的主键列； 读取数据记录的记录值， 并将记录值中的各字段作为 目标表的数据列； 以上目标表的主键列、 数据列在数据库的列 类型， 由数据 记录中字段结构的类型进 行映射转换； 根据数据 记录的记录键值， 在目标表进权　利　要　求　书 2/3 页 3 CN 115269694 A 3