(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210865981.0 (22)申请日 2022.07.22 (71)申请人 万达信息股份有限公司 地址 200233 上海市徐汇区桂平路481号20 号楼5层 (72)发明人 付越　王瑜　杨佐鹏　佘盼　 申成日　张敬谊　丁偕　 (74)专利代理 机构 上海申汇 专利代理有限公司 31001 专利代理师 翁若莹　柏子雵 (51)Int.Cl. G01S 17/894(2020.01) G01S 17/48(2006.01) G01S 7/497(2006.01) G01J 1/42(2006.01)A61B 5/11(2006.01) G06V 10/44(2022.01) G06V 10/34(2022.01) G06V 10/764(2022.01) G06V 10/82(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01) G06T 7/246(2017.01) (54)发明名称 一种隐私环境下的智能监护系统 (57)摘要 本发明公开了一种隐私环境下的智能监护 系统， 其特征在于， 包括信息采集模块、 数据预处 理模块、 智 能分析模块： 信息采集模块采集环境 信息， 并基于环境信息形成流数据； 数据预处理 模块用于将流数据形成具有物理意义的结构化 数据； 智能分析模块得到人体姿态估计结果和人 体行为识别结果。 本发明使用无接触式传感器作 为环境信息的采集介质， 在 居家环境中避免了监 护带来的隐私侵犯问题； 本发明综合使用ToF传 感器和红外传感器采集环境信息， 可以互补ToF 传感器对于人体感知不够敏感和红外传感器无 法获取物体三维空间详细位置的缺陷。 权利要求书2页 说明书5页 附图5页 CN 115308768 A 2022.11.08 CN 115308768 A 1.一种隐私环境下的智能监护系统， 其特征在于， 包括信息采集模块、 数据预处理模 块、 智能分析模块， 其中： 信息采集模块通过ToF传感器以及红外传感器采集环境信息， 并基于环境信息形成流 数据后， 将流数据向外发送， 其中： 信息采集模块通过ToF传感器无接触地采集并生成深度 图像， 信息采集模块 通过红外传感器无接触地采集并生成红外图像； 数据预处理模块用于将基于信息采集模块获得的流数据形成具有物理意义的结构化 数据； 智能分析模块通过封装其中的预训练模型处理数据 预处理模块输出的结构化数据， 得 到人体姿态估计结果和人体行为识别结果， 并将人体姿态估计结果和人体行为识别结果传 送至终端实现智能实时监护。 2.如权利要求1所述的一种隐私环境下的智能监护系统， 其特征在于， 所述信 息采集模 块采用以下步骤生成所述深度图像： 步骤101、 ToF传感器中的激光发射模组发射特定波长的红外 激光； 步骤102、 ToF传感器接受环境反射的红外 激光信号， 根据波长过 滤环境噪声； 步骤103、 信息采集模块根据发射激光和接受反射信号的时间差计算反射点到传感器 的直线距离和夹角； 步骤104、 信息采集模块根据反射点到传感器的直线距离和夹角计算得到反射点到传 感器的水平 距离； 步骤105、 信息采集模块以水平 距离作为深度图像中每 个像素点的数值 生成深度图像。 3.如权利要求1所述的一种隐私环境下的智能监护系统， 其特征在于， 所述信 息采集模 块采用以下步骤生成所述红外图像： 步骤201、 红外传感器直接 接收环境中的红外光信息； 步骤202、 信息采集模块 通过信号处 理算法计算接收的红外光强度； 步骤203、 信息采集模块将红外光强度作为红外图像中的每个像素点的数值生成红外 图像。 4.如权利要求1所述的一种隐私环境下的智能监护系统， 其特征在于， 所述数据 预处理 模块对流数据采用以下步骤进行处 理： 步骤301、 对流数据解码， 按照时间戳还原每一帧的深度图像和红外图像； 步骤302、 将深度图像和红外的图像的像素值映射到0～255的范围， 归一化为灰度图， 对深度图像中距离大于一定阈值的像素点均设置为无限远， 红外图像中红外光强小于一定 阈值的像素点均设置为0光强； 步骤303、 对归一化后的深度图像和红外图像使用自适应直方图均衡化增强对比度， 提 高距离近的人体和背景物体之间的识别度； 步骤304、 过滤深度图像和红外图像中的噪点； 步骤305、 对深度图像和红外图像做锐化处 理， 进一步提升不同物体之间的识别度。 5.如权利要求4所述的一种隐私环境下的智能监护系统， 其特征在于， 所述智能分析模 块包括姿态估计子模块以及人体行为识别子模块， 其中： 姿态估计子模块用于定位环境中人体的空间位置、 还原人体姿态， 在三维环境中以骨 架图的方式实现人体重建；权　利　要　求　书 1/2 页 2 CN 115308768 A 2人体行为识别子模块用于对人体当前的行为模式做出分类识别。 6.如权利要求5所述的一种隐私环境下的智能监护系统， 其特征在于， 所述姿态估计子 模块的实现包括以下步骤： 步骤401、 使用多头卷积结构分别 对深度图像和红外图像提取特征图， 叠加所有特征图 并通过集成了自注意力机制的卷积层进行 数据融合； 步骤402、 对融合后的高维特 征图通过 预训练的深度卷积神经网络提取一维特 征； 步骤403、 使用多层感知机回归预设数量的关节点 坐标； 步骤404、 以关节点作为结点， 以符合人体的关节点连接关系作为边， 以图结构构建人 体骨架图。 7.如权利要求6所述的一种隐私环境下的智能监护系统， 其特征在于， 所述人体行为识 别子模块的实现包括以下步骤： 步骤501、 根据人体骨架图的边界框， 计算当前帧骨架图和历史帧骨架图的交并比， 若 交并比大于 设定阈值， 为当前骨架图赋予历史帧中对应的人物身份， 否则， 当前骨架不存在 与历史帧中， 赋予当前骨架图新的人物身份， 以此实现人体跟踪； 步骤502、 对每个骨架图通过预训练的图卷积神经网络提取特征， 并根据 人体跟踪的结 果缓存进对应特 征队列中； 步骤503、 对每个人体身份选择当前帧和历史帧提取出的特征组成时序特征组， 顺序输 入到循环神经网络中， 并通过全连接层输出当前目标 人物的行为类别。权　利　要　求　书 2/2 页 3 CN 115308768 A 3