(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210840374.9 (22)申请日 2022.07.18 (71)申请人 福州大学 地址 362251 福建省泉州市晋 江市金井镇 水城路1号 (72)发明人 陈建　廖燕俊　郑明魁　林育芳　 黄炜　 (74)专利代理 机构 福州元创专利商标代理有限 公司 35100 专利代理师 陈明鑫　蔡学俊 (51)Int.Cl. H04N 19/103(2014.01) H04N 19/96(2014.01) H04N 19/87(2014.01) H04N 19/80(2014.01)H04N 7/18(2006.01) (54)发明名称 一种基于3D点云的实时压缩与远程监控方 法及系统 (57)摘要 本发明涉及一种基于3D点云的实时压缩与 远程监控方法及系统。 该方法： 在采集端， 对3D动 态点云帧依据运动特性分割为静止背景与运动 区域两种3D动态点云序列； 对静止背景设定采集 条件， 通过几何与属性联合误差与时间间隔确定 背景更换与否， 并使用V ‑PCC进行压缩； 对于已分 割的运动区域3D点云块， 通过八叉树压缩； 将压 缩后的背景信息和运动区域封装， 并进行网络传 输； 在接收端， 分别对解封装后的背景点云序列 与运动区域点云序列进行V ‑PCC与八叉树解码； 重新融合为包含运动与背景完整信息的一帧点 云， 并进行 实时3D视频展示； 而后存储备份。 本发 明能在确保主体监控信息不丢失的前提下极大 减少需要编码和传输的点云数量， 从而改善三维 监控的实时性。 权利要求书2页 说明书9页 附图4页 CN 115278226 A 2022.11.01 CN 115278226 A 1.一种基于 3D点云的实时压缩与远程 监控方法， 其特 征在于， 包括如下步骤： 编码过程： 步骤C1、 采集 监控场景的3D点云序列并记录各帧时序信息； 步骤C2、 根据3D点云帧间误差进行动静分割； 步骤C3、 依据3D点云运动性质进行分类压缩； 步骤C4、 3D点云编码帧码流的封装与传输； 解码过程： 步骤D1、 对编码帧码流的接收和解封装； 步骤D2、 对解封装的3D点云进行解码与融合。 2.根据权利要求1所述的一种基于3D点云的实时压缩与远程监控方法， 其特征在于， 所 述步骤C2具体包括循环执 行的以下步骤： C21、 计算相邻帧各对应点间误差， 依据相邻帧点间误差， 将点云序列各帧分割为静止 背景与运动区域两类点云； C22、 获取C21分割得到的静止背景点云后， 同前一帧背景点云进行几何与属性的联合 误差计算； C23、 将运动区域点云进一步划分， 得到独立的运动子块点云并记录块位置与块编号信 息； 所述步骤C3具体包括循环执 行的以下步骤： C32、 通过设定的背景压缩时间间隔参数与背景误差阈值参数， 对静止背景点云进行取 舍判断； 所述步骤C4具体包括循环执 行的以下步骤： C41、 依据 是否包含静止背景信息， 对编码帧码流分为使用包含静止背景的封装帧与仅 有运动区域封装帧两种不同的封装方式， 分别进行编码帧的封装。 3.根据权利要求1所述的一种基于3D点云的实时压缩与远程监控方法， 其特征在于， 所 述步骤D1具体包括循环执 行的以下步骤： D12、 对编码帧码流进行本地保存和解封装； D13、 对接收的编码帧码流类型进行判定， 确定是否包 含静止背景编码比特流； 所述步骤D2具体包括循环执 行的以下步骤： D23、 获取 各运动区域 点云子块的位置、 块编号以及采集帧时序信息； D24、 对运动区域 点云子块依据位置与序号信息 重新融合 为运动区域 点云。 4.根据权利要求2所述的一种基于3D点云的实时压缩与远程监控方法， 其特征在于， 在 步骤C21， 计算相邻帧各对应点间误差， 通过当前3D点云帧f与前帧点云f ‑1通过公式(1)进 行两帧帧间各个对应点的几何误差e(i)的计算； 其中i为当前帧f的第i个点， j为前帧点云f ‑1帧中对应于i的最近点， E为误差向量函 数； 之后， 依据邻帧点间误差， 将3D点云序列各帧分割为静止背景与运动区域两类点云中， 通过设定阈值MSE， 遍历每个点间误差e(i)与阈值的大小关系， 根据公 式(2)将当前帧f分割权　利　要　求　书 1/2 页 2 CN 115278226 A 2为静止背景与运动区域： 5.根据权利要求2所述的一种基于3D点云的实时压缩与远程监控方法， 其特征在于， 步 骤C22， 获取C21分割得到的静止背景点云后， 同前一 帧背景点云进行几何与属性的联合误 差计算中， 背景帧间误差计算采用联合几何与属 性两类误差进行综合分析， 以确保识别几 何变化的同时能准确识别背景属性变化， 其中， 静止背景帧间误差计算如公式(3)所示： 其中， MSEBackGround为静止背景帧间几何与属性联合误差值， 与 分别表示几何 与属性误差。 6.根据权利要求2所述的一种基于3D点云的实时压缩与远程监控方法， 其特征在于， 在 步骤C23中， 将运动区域点云进一步划分， 得到独立的运动子块点云 并记录块位置与块编号 信息中， 运动部分点云的进一步划分使用基于KD树的欧式聚类方法， 并依据聚类顺序对子 块进行编号； 块位置信息通过各块距离原运动区域点云 的原点位置坐标(0,0,0)的最近点 位置坐标(Xmin,Ymin,Zmin)进行表示， 用于解码端结合 块序号快速 重构出运动区域 点云。 7.根据权利要求6所述的一种基于3D点云的实时压缩与远程监控方法， 其特征在于， 在 步骤C32中， 通过设定的背 景压缩时间间隔参数与背 景误差阈值参数， 对静止背 景点云进 行 取舍判断中， 存在两种需要进行背景采集的情况， 第一种情形是在当前采集帧时序减去上 次背景时序大于等于背景采集时间间隔时， 则认为需要进行背景采集； 第二种情形是 由公 式(3)计算得到的联合属性误差大于 设定的误差阈值， 则被认为需要进 行背景采集； 如果两 种情形均不满足， 否则丢弃 该背景帧。 8.根据权利要求2所述的一种基于3D点云的实时压缩与远程监控方法， 其特征在于， 在 步骤C41中， 依据是否包含静止背 景信息， 将编 码帧码流分为使用包含静止背 景的封装帧与 仅有运动区域封装帧两种不同的封装方式， 分别进 行编码帧的封装中， 步骤C23得到的运动 子块位置与编号信息、 步骤C31得到的八叉树编码比特流以及步骤C33得到的需要 更新的静 止背景的V‑PCC编码信息进 行编码码流的整体性封装； 其封装分为两种情形， 封装的第一种 情形为仅包含运动区域点云的八叉树编码信息、 块位置与编号信息以及采集帧时序信息； 第二种情形则包 含一帧完整3D点云的所有编码信息 。 9.根据权利要求3所述的一种基于3D点云的实时压缩与远程监控方法， 其特征在于， 在 步骤D24中， 运动区域点云融合中， 通过使用编 码帧中的运动子块位置信息确定每一个子块 在原始点云帧中的对应位置， 进而合并该帧的所有运动子块点云以实现解码点云帧中运动 区域的融合。 10.一种基于3D点云的实时压缩与远程监控系统， 其特征在于， 包括存储器、 处理器以 及存储于存储器上并能够被处理器运行的计算机程序指令， 当处理器运行该计算机程序指 令时， 能够实现如权利要求1 ‑9任一所述的方法步骤。权　利　要　求　书 2/2 页 3 CN 115278226 A 3