(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210435330.8 (22)申请日 2022.04.24 (71)申请人 慧士得 （南京） 科技有限公司 地址 210000 江苏省南京市江北新区万寿 路15号D4栋4层401-2室 (72)发明人 刘欣伟　杜勇　唐吉　吴玮楠　 袁晓慧　 (74)专利代理 机构 北京久维律师事务所 1 1582 专利代理师 邢江峰 (51)Int.Cl. G06F 16/21(2019.01) G06F 16/2455(2019.01) G06F 16/28(2019.01) G06F 9/54(2006.01) G06F 3/06(2006.01) (54)发明名称 一种基于流式处理的工业传感器数据处理 方法 (57)摘要 本发明提供一种基于流式处理的工业传感 器数据处理方法。 本发明通过 获取传感器数据到 数据采集层； 在数据采集层通过建立协议转换层 适配多种型号， 多种协议的传感器； 在数据处理 层通过kafka消息队列接受数据， 并且转发至数 据处理引擎； 在数据处理引擎根据相关设计的数 据模型计算并且实时返回结果， 同时会把原数据 保存在时序数据库； 数据处理引擎根据实时处理 后的数据直接发送到时序数据库存储， 同时把数 据发回消息队列集群， 用于其他系统二次消费使 用； 将配置信息保存在关系型数据库。 本发明进 行数据流处理时， 能够持续稳定的支撑巨大的数 据流量， 不降低整个系统的性能， 提高运行效率， 满足传感器数据处理的实时性的要求， 降低成 本。 权利要求书1页 说明书4页 附图1页 CN 114546993 A 2022.05.27 CN 114546993 A 1.一种基于流式处 理的工业传感器数据处 理方法， 其特 征在于， 包括： 获取传感器数据到数据采集层； 在数据采集层通过建立协议 转换层适配多种型号， 多种协议的传感器； 在数据处 理层通过kafka消息队列接受数据， 并且转发至数据处 理引擎； 在数据处理引擎根据相关设计的数据模型计算并且实时返回结果， 同时会把原数据保 存在时序数据库； 数据处理引擎根据实时处理后的数据直接发送到时序数据库存储， 同时把数据发回消 息队列集群， 用于其 他系统二次消费使用； 将配置信息保存在关系型 数据库。 2.根据权利要求1所述的一种基于流式处理 的工业传感器数据处理方法， 其特征在于， 所述数据处 理引擎、 时序数据库、 关系型 数据库通过控制配置集群控制。 3.根据权利要求1所述的一种基于流式处理 的工业传感器数据处理方法， 其特征在于， 所述传感器包括： 加速度传感器、 温度传感器、 湿度传感器、 流量传感器、 压力 传感器、 XYZ三 向传感器。 4.根据权利要求1所述的一种基于流式处理 的工业传感器数据处理方法， 其特征在于， 获取传感器数据到数据采集层的步骤中， 所述传感器数据从各类采集器通过无线或者有线 网络将数据传输 到数据采集层。 5.根据权利要求1所述的一种基于流式处理 的工业传感器数据处理方法， 其特征在于， 在数据处理引擎根据相关设计的数据模型计算并且实时返回结果， 同时会把原数据保存在 时序数据库的步骤中， 通过数据处理引擎中引入计算和处理规则， 将传感器数据实时处理， 所述将传感器数据实时处理包括过滤异常值和增益放大倍数， 并将结果保存在时序数据 库。 6.根据权利要求1所述的一种基于流式处理 的工业传感器数据处理方法， 其特征在于， 在当前系统资源趋向或者已经饱和的情况下， 所述数据处理引擎可以在任意时间添加工作 节点， 不需要停机停服。 7.根据权利要求1所述的一种基于流式处理 的工业传感器数据处理方法， 其特征在于， 将配置信息保存在关系 型数据库的步骤中， 所述配置信息包括： 流程控制所需的本身节点 信息、 用于通信的上 下游节点信息、 分支流 程信息、 本节点对应数据处 理模型、 预警规则。权　利　要　求　书 1/1 页 2 CN 114546993 A 2一种基于流式处理的工 业传感器数据处理 方法 技术领域 [0001]本发明涉及数据处理领域， 具体涉及一种基于流式处理的工业传感器数据处理方 法。 背景技术 [0002]随着智能工厂的兴起， 工业传感器及物联网的快速发展， 对于传感器信息和数据 的采集类型和采集手段的日益丰富， 导致需要处理的数据量和计算量呈爆炸增长， 基于以 往的物联网解决方案渐 渐无法满足人们日益增长的需求。 [0003]为了适应需要处理的数据量和计算量呈爆炸增长这一发展变化， 数据处理能力就 越来越收到重视， 但是现有的数据分析 的速度和效率较低， 各类传感器协议、 数据频率、 数 据内容、 数据量不一致， 常规数据处理在针对简单逻辑处理 时， 采用硬件运算解决， 效率高， 但成本也高， 复杂逻辑基本无法实现， 也受限于硬件及环境问题， 缺乏灵活性及可扩展性， 并且模拟调试麻烦， 无法实时动态调整系统技术参数， 全凭人工经验判断， 有的还存在 存在 单点故障。 因此， 亟需一种基于流式处 理的工业传感器数据处 理方法， 以解决上述问题。 发明内容 [0004]本发明的目的在于提供一种基于流式处理的工业传感器数据处理方法， 以解决现 有的数据分析的速度和效率较低， 各类传感器协 议、 数据频率、 数据内容、 数据量不一致， 常 规数据处理在针对简单逻辑处理时， 采用硬件运算解决， 效率高， 但成本也高， 复杂逻辑基 本无法实现， 也受限于硬件及环境问题， 缺 乏灵活性及可扩展性， 并且模拟调试麻烦， 无法 实时动态调整系统技 术参数， 全凭人工经验判断， 有的还 存在存在单点故障的问题。 [0005]本发明提供一种基于流式处 理的工业传感器数据处 理方法， 包括： 获取传感器数据到数据采集层； 在数据采集层通过建立协议 转换层适配多种型号， 多种协议的传感器； 在数据处 理层通过kafka消息队列接受数据， 并且转发至数据处 理引擎； 在数据处理引擎根据相关设计的数据模型计算并且实时返回结果， 同时会把原数 据保存在时序数据库； 数据处理引擎根据实时处理后的数据直接发送到时序数据库 存储， 同时把数据发 回消息队列集群， 用于其 他系统二次消费使用； 将配置信息保存在关系型 数据库。 [0006]进一步地， 所述数据处理引擎、 时序数据库、 关系型数据库通过控制配置集群控 制。 [0007]进一步地， 所述传感器包括： 加速度传感器、 温度传感器、 湿度传感器、 流量传感 器、 压力传感器、 XYZ三向传感器。 [0008]进一步地， 获取传感器数据到数据采集层的步骤中， 所述传感器数据从各类采集 器通过无线或者有 线网络将数据传输 到数据采集层。说　明　书 1/4 页 3 CN 114546993 A 3