(19)国家知识产权局 (12)发明 专利 (10)授权公告 号 (45)授权公告日 (21)申请 号 202210817641.0 (22)申请日 2022.07.13 (65)同一申请的已公布的文献号 申请公布号 CN 114913552 A (43)申请公布日 2022.08.16 (73)专利权人 南京理工大 学 地址 210094 江苏省南京市玄武区孝陵卫 街200号 (72)发明人 王康侃　李绍园　尹士豪　李薇　 (74)专利代理 机构 青岛锦佳专利代理事务所 (普通合伙) 37283 专利代理师 朱玉建 (51)Int.Cl. G06V 40/10(2022.01) G06V 10/42(2022.01)G06V 10/44(2022.01) G06V 10/82(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01) 审查员 李慧 (54)发明名称 一种基于单视角 点云序列的三维人体稠密 对应估计方法 (57)摘要 本发明公开了一种基于单视角 点云序列的 三维人体稠密对应估计方法， 其包括如下步骤： 使用模板模型对齐输入的单视角点云来补全单 视角点云的人体信息； 计算模板模 型点云和输入 点云的LBO， 得到拉普拉斯基； 通过深度点云特征 提取网络得到模板模型点云和输入点云的点云 特征； 拉普拉斯基与提取的特征矩阵相乘得到它 们的频域空间特征； 使用频域空间特征计算线性 函数映射以表征稠密点对关系； 通过点对关系分 别对模板模 型点云和输入点云进行重排序； 将重 排序的模板模型通过变形模块得到的变形距离 误差作为单帧内部的无监督误差， 并引入运动一 致性损失函数对变形模块进行无监督学习。 本发 明能够准确地进行三维人体稠密对应估计 。 权利要求书3页 说明书7页 附图4页 CN 114913552 B 2022.09.23 CN 114913552 B 1.一种基于单视角点云序列的三维人体稠密对应估计方法， 其特 征在于， 包括如下步骤： 步骤1. 利用模板模型对齐输入的单视角点云， 并补全单视角点云的人体信息； 步骤2. 分别计算模板模型点云以及补全的单视角点云的  LBO， 通过对LBO进行特征分 解， 分别得到模板模型点云以及 补全的单视角点云的拉普拉斯基； 步骤3. 利用深度点云特征提取网络分别 对模板模型点云以及补全的单视角点云进行 特征提取， 得到模板模型点云和补全的单视角点云的点向特 征； 将模板模型点云的点向特征和补全的单视角点云的点向特征分别与对应点云的拉普 拉斯基相乘， 得到模板模型点云和补全的单视角点云的频域空间特 征； 步骤4. 利用模板模型点云和补全的单视角点云的频域空间特征计算得到线性函数映 射矩阵， 以表示模板模型点云与补全的单视角点云之间的点对关系； 步骤5. 利用步骤4得到的点对关系， 对模板模型点云以及补全的单视角点云进行重排 序， 得到重排序的模板模型点云以及重排序的单视角点云； 步骤6. 将补全的单视角点云的点向特征经过预处理后， 与重排序的模板模型点云进 行拼接， 并输入到变形模块， 经 过变形后输出与重排序的单视角点云对齐的模板模型点云； 计算变形后输出的模板模型点云与重排序的单视角点云之间的变形距离误差； 将该变形距离误差作为变形模块的无监督学习误差， 同时引入运动一致性损 失约束， 对变形模块进行 无监督学习， 进 而得到学习好的变形模块； 步骤7. 利用变形模块对输入的单视角点云序列进行三维人体稠密对应估计。 2.根据权利要求1所述的三维人体稠密对应估计方法， 其特 征在于， 所述步骤1具体为： 步骤1.1. 首先计算单视角点云的二维关节， 再通过二维到三维的转换 得到三维关节； 步骤1.2.  使用 KEEP IT SMPL 将模板模型通过最小化三维关节的误差， 将模板模型 变形至与输入的单视角点云对齐， 此处对齐是指模板模型点云与单视角点云的躯 干对齐； 步骤1.3.  用变形后的模板模型不可见点去补全输入的单视角点云中丢失的人体信 息。 3.根据权利要求1所述的三维人体稠密对应估计方法， 其特 征在于， 所述步骤2具体为： 步骤2.1. 首先将计算 点云上所有顶点的切空间 ； 步骤2.2. 然后将每 个点邻域半径 r以内的所有邻接点映射到该点的切空间 中； 步骤2.3. 计算所有投影后邻接点的  LBO算子； 拉普拉斯矩阵L定义 为： L=S‑1W； 其中， S表示 面积矩阵， W表示权 重矩阵； 步骤2.4.  将LBO通过特征分解WΦ=SΦΛ得到拉普拉斯基Φ和分解后得到的特征值 Λ。 4.根据权利要求3所述的三维人体稠密对应估计方法， 其特 征在于， 所述步骤2.3中， 面积矩阵S和权 重矩阵W的计算过程如下： 首先计算每个点的球形邻域， 邻域半径为r， 在这个邻域中找到其所有邻接点， 将它们 全部投影到该点的切空间中， 并将投影点进行局部三角剖分， 再计算 点云LBO；权　利　要　求　书 1/3 页 2 CN 114913552 B 2将面积矩阵S定义 为： 当i≠j时， sij=∑k≠i,jSijk， 当i=j时， sij=‑∑k≠isik； 其中， i是点云的一个顶点， j、 k是i的邻接点； Sijk是属于i、 j、 k三个点 组成的三角区域面积， sij表示所有三角区域面积之和； 且 当i=j 时， sii等于点i的所有邻接点所构成的面的面积之和； 将权重矩阵W定义 为： 当i≠j时， wij=∑(cotαij+cotβij)/2， 当i=j时， wij=‑∑k≠iwik； 其中， αij和βij是边eij的两个角度， 边eij是指点i和点j所构 成的边， 且当i=j时， wij等于 点i的所有邻域的所有w之和， 即当i≠j时所计算出来的wij； wij表示为权重矩阵W中第i行第 j列的权重值， wik表示权重矩阵W中第i行第k列的权 重值。 5.根据权利要求1所述的三维人体稠密对应估计方法， 其特 征在于， 所述步骤3具体为： 将点云和与点云对应的拉普拉斯基共同作为输入， 通过网格下采样得到下采样后的点 以及拉普拉斯基矩阵， 下采样后的点 通过KPConv特征提取网络获得其特 征； 将经过KPConv特征提取网络得到的特征， 与下采样后的拉普拉斯基矩阵相乘得到频域 空间特征， 此时得到的频域空间特 征为点向局部特 征； 将该点向局部特 征进一步经过一个全局特 征提取网络， 得到全局特 征。 6.根据权利要求1所述的三维人体稠密对应估计方法， 其特 征在于， 所述步骤4具体为： 定义M表示模板模型点云， N表示补全的单视角点云； 对于模板模型点 云M计算出的拉普拉斯基为Φ， 频域特征表示为A =ΦΠM， 对于补全的单 视角点云N计算出的拉普拉斯基为Ψ， 频域特 征表示为B=ΨΠN； 其中， ΠM表示模板模型点云的点向特 征， ΠN表示补全的单视角点云的点向特 征； 最后通过最小二乘法获得函数映射矩阵C， 计算公式为： Copt=argminc|| CA‑B||2+α ||ΛMC‑CΛN ||2； 其中， Copt表示函数映射矩阵C的优 化函数， ΛM是模板模型点 云LBO进行特征分解后得到 的特征值, ΛN是补全的单视角点云LBO进行 特征分解后得到的特 征值。 7.根据权利要求1所述的三维人体稠密对应估计方法， 其特 征在于， 所述步骤5具体为： 步骤5.1.  首先将频域空间线性函数映射矩阵与模板模型点云和补全的单视角点云的 拉普拉斯基进行矩阵相乘， 通过计算获得点向对应概 率矩阵； 步骤5.2.  使用点向对应概率矩阵分别与模板模型点云矩阵、 补全的单视角点云矩阵 进行矩阵乘法计算， 分别计算得到 重排序的模板模型点云和重排序的单视角点云。 8.根据权利要求1所述的三维人体稠密对应估计方法， 其特 征在于， 所述步骤6 中， 当输入为连续帧的点云时， 将单帧无监督网络结构表达为 时序上的网络 结构， 通过帧与帧之间运动变化的几何特性作为时序损失函数进行 无监督学习。 9.根据权利要求8所述的三维人体稠密对应估计方法， 其特 征在于， 所述步骤6中， 基于相邻三帧之间对应点之间的运动连续 性来构造损失函数； 其中， 运动连续损失函数为： lmc=∑i|| vp,i(t‑1)+ vp,i(t+1)  ‑2 vp,i(t) ||1； 其中， i表示模板模型 上的点索引， ∑i表示模板模型 上所有点的运动连续损失之和； ||·||1表示深度学习中的L1损失函数；权　利　要　求　书 2/3 页 3 CN 114913552 B 3