(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210185908.9 (22)申请日 2022.02.28 (71)申请人 重庆紫光华山智安科技有限公司 地址 400700 重庆市北碚区云汉大道1 17号 附386号 (72)发明人 黄殿　周斌　汪昊　 (74)专利代理 机构 北京同达信恒知识产权代理 有限公司 1 1291 专利代理师 于丹 (51)Int.Cl. G06T 7/11(2017.01) G06T 7/12(2017.01) G06N 3/08(2006.01) G06N 3/04(2006.01) G06V 10/44(2022.01)G06V 10/46(2022.01) G06V 10/82(2022.01) (54)发明名称 一种人像分割网络训练方法、 装置、 设备及 介质 (57)摘要 本公开涉及一种人像 分割网络训练方法、 装 置、 设备及介质， 该方法包括： 获取训练样本集； 将各图片输入 人像分割网络， 其包括特征提取网 络、 人体关键点信息计算网络及分割网络； 利用 特征提取网络提取所述图片的特征， 得到该图片 的特征图， 利用人体关键点标注所对应的各人像 的轮廓范围对 特征图进行裁剪， 输出各人像对应 的特征图； 利用人体关键点信息计算网络根据人 体关键点标注， 计算人体关键点标注范围和人体 关键点连接信息， 输出二通道特征图； 将各人像 对应的特征图和二通道特征图输入分割网络， 利 用分割网络进行特征提取并进行人像分割标注 预测， 以输出该图片的人像分割标注 为目标进行 训练。 本公开能够实现多目标分割， 并提高了分 割准确率。 权利要求书3页 说明书17页 附图6页 CN 114549557 A 2022.05.27 CN 114549557 A 1.一种人像分割网络训练方法， 其特 征在于， 该 方法包括： 获取训练样本集， 所述训练样本集包括多张带有标注的图片， 所述标注包括人体关键 点标注和人像分割标注； 将所述训练样本集中的各图片输入人像分割网络， 所述人像分割网络包括特征提取网 络、 人体关键点信息计算网络及分割网络； 利用所述特征提取网络提取所述图片的特征， 得到所述图片的特征图， 利用人体关键 点标注所对应的各人像的轮廓范围对所述特征图进行裁剪， 输出所述图片中的各人像对应 的特征图； 利用所述人体关键点信 息计算网络根据所述图片的人体关键点标注， 计算人体关键点 标注范围和人体关键点连接信息， 输出与所述各人像对应的特征图尺寸相同的二通道特征 图； 将所述各人像对应的特征图和二通道特征图输入所述分割网络， 利用所述分割网络进 行特征提取并进 行人像分割标注预测， 以输出所述图片的人像分割标注为目标进 行训练所 述人像分割网络 。 2.根据权利要求1所述的方法， 其特 征在于， 所述获取训练样本集， 包括： 获取目标场景下通过摄像装置采集的多张带有人像的图片， 构成第一数据集， 所述第 一数据集中多张带有人像的图片包括单 人图片和多人图片； 从开源数据集中获取多张带有人像的图片， 构成第二数据集， 所述第二数据集中多张 带有人像的图片包括单 人图片和多人图片。 3.根据权利要求1所述的方法， 其特 征在于， 所述获取训练样本集之后， 还 包括： 使用聚类算法对所述训练样本集中图片的人体关键点标注进行聚类得到多个聚类中 心， 将所述多个聚类中心作为标准姿态模板集； 所述利用人体关键点标注所对应的各人像的轮廓范围对所述特征图进行裁剪， 输出所 述图片中的各 人像对应的特 征图， 包括： 利用人体关键点标注所对应的各人像的轮廓范围对所述特征图进行裁剪， 获得所述图 片中的各 人像对应的原 始特征图； 确定输入的图片中各人像的人体关键点标注所对应的标准姿态模板， 并计算将所述人 像的人体关键点标注与所述所对应的标注姿态模板进 行变换的变换矩阵， 使用所述变换矩 阵对所述人像对应的第一特 征图进行对齐， 得到所述人像对应的第一特 征图； 对所述各 人像对应的第一特 征图进行缩放， 得到相同尺寸的人像对应的特 征图。 4.根据权利要求3所述的方法， 其特征在于， 所述计算将所述人像的人体关键点标注与 所述所对应的标注姿态模板进行变换的变换矩阵， 包括： 针对输入的图片中的人像， 计算所述人像对应的人体关键点标注与 标准姿态模板集中 各标准姿态模板之间的距离； 确定与所述人像的人体关键点标注距离最小的标准姿态模板， 计算从所述人像的人体 关键点标注变换到所述标准姿态模板的变换矩阵。 5.根据权利要求1所述的方法， 其特征在于， 所述利用所述人体关键点信 息计算网络根 据所述图片的人体关键点标注， 计算人体关键点标注范围和人体关键点连接信息， 输出与 所述各人像对应的特 征图尺寸相同的二 通道特征图， 包括：权　利　要　求　书 1/3 页 2 CN 114549557 A 2根据所述图片的人体关键点标注， 使用高斯核函数计算人体关键点范围， 得到热力图； 根据所述图片的人体关键点标注， 使用确定任意两个人体关键点标注的连接关系的函 数计算人体关键点连接信息， 得到 部分关联域PAF 特征； 将所述热力图和PAF特征进行融合， 得到与所述各人像对应的特征图尺寸相同的二通 道特征图。 6.根据权利要求1所述的方法， 其特征在于， 所述将所述各人像对应的特征图和二通道 特征图输入所述分割网络， 利用所述分割网络进行 特征提取之后， 还 包括： 获取对各人像对应的特征图和二通道特征图进行特征提取后得到的各人像的第二特 征图； 将所述各人像的第 二特征图进行缩放， 恢 复为与该人像对应的对齐后的第 一特征图相 同的尺寸； 对缩放后的第 二特征图利用所述人像对应的变换矩阵的逆矩阵进行变换， 得到所述人 像的原始特征图； 将所述图片中各 人像的原 始特征图， 根据该 人像的轮廓范围合并。 7.根据权利要求1所述的方法， 其特 征在于， 所述训练人像分割网络， 包括： 在第一训练阶段采用训练样本集固定大小的图片作为输入， 根据输入图片的人像分割 标注和人像分割网络 输出的人像分割标注， 确定第一损失函数值； 根据所述第一损 失函数值采用第一学习率对所述人像分割 网络进行参数调整， 其中， 所述第一学习率随着训练代数Epoc h的增加而减少所述第一学习率； 在第二训练阶段采用训练样本集中不同大小的图片作为输入， 根据输入图片的人像分 割标注和人像分割网络 输出的人像分割标注， 确定第二损失函数值； 根据所述第二损失函数值采用固定的第二学习率对所述人像分割网络进行参数调整。 8.根据权利要求7 所述的方法， 其特 征在于， 还 包括如下至少一个步骤： 在第一训练阶段， 确定当前得到第一损 失函数值大于设定阈值时， 增加当前输入的图 片在之后输入到人像分割网络的次数； 在第二训练阶段， 确定当前得到第二损 失函数值大于设定阈值时， 增加当前输入的图 片在之后输入到人像分割网络的次数。 9.根据权利要求1所述的方法， 其特 征在于， 所述训练人像分割网络之后， 还 包括： 获取待测图片， 确定所述待测图片的人体关键点标注； 将所述待测图片和人体关键点标注输入所述人像分割网络， 获得所述人像分割网络输 出的所述待测图片的人像分割标注。 10.根据权利要求1所述的方法， 其特 征在于， 所述人体关键点标注包括关键点的坐标， 以及人体关键点是否被其他人像的人体关键 点和/或背景遮挡的标记； 所述人像分割标注包括标注为第一标记值的人像部分像素和标注为第二标记值的背 景部分像素。 11.一种人像分割网络训练装置， 其特 征在于， 该装置包括： 训练样本集获得模块， 用于获取训练样本集， 所述训练样本集包括多张带有标注的图 片， 所述标注包括人体关键点标注和人像分割标注；权　利　要　求　书 2/3 页 3 CN 114549557 A 3