(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211171521.4 (22)申请日 2022.09.26 (71)申请人 天津理工大 学 地址 300384 天津市西青区 宾水西道391号 (72)发明人 高赞　陈鹏　周冕　温显斌　 陈胜勇　 (74)专利代理 机构 天津佳盟知识产权代理有限 公司 120 02 专利代理师 林玉慧 (51)Int.Cl. G06V 40/10(2022.01) G06V 10/20(2022.01) G06V 10/774(2022.01) G06V 10/40(2022.01) G06V 10/46(2022.01)G06V 10/75(2022.01) G06V 10/74(2022.01) G06V 10/80(2022.01) G06V 10/82(2022.01) G06V 10/764(2022.01) G06N 3/08(2006.01) (54)发明名称 遮挡行人重识别方法、 装置、 设备和计算机 可存储介质 (57)摘要 本发明属于计算机视觉和模式识别技术领 域， 涉及一种遮挡行人重识别方法、 装置、 设备和 计算机可存储介质。 遮挡行人重识别方法的具体 步骤如下： (1)进行数据准备： (2)引入遮挡信息 进行并进行图像预处理； (3)网络模型搭建； (4) 关键点‑局部语义特征相似度匹配； (5)网络的目 标函数构建； (6)基于遮挡信息辅助与关键点增 强的遮挡行人重识别。 此外， 还提出了配套的装 置、 设备和计算机可存储介质。 本发明可对现有 公开有遮挡的行人重识别数据集进行高效识别 和检索， 能够有效地解决目标数据集由于遮挡、 姿态变化造成的行人信息缺失、 特征对齐困难等 问题， 并且方法收敛速度快。 本发明尤适用于公 共安全领域。 权利要求书4页 说明书9页 附图2页 CN 115497122 A 2022.12.20 CN 115497122 A 1.一种遮挡行 人重识别方法， 其特 征在于， 包括以下步骤： 1)在数据集中选取若干有遮挡的图像并手动剪裁若干不同尺寸的遮挡物图像； 将高度 大于2倍宽度的遮挡物图像用作垂直方向遮挡物， 将宽度大于两倍高度的遮挡物用作水平 方向的遮挡物； 在数据集的训练集中随机选取图像并剪裁， 生成局部行人图像， 尺寸为所选 取的训练集图像原尺寸的1/4—1/2； 此外， 为了使网络模型所提取的特征更加符合人体语 义， 我们利用现有的人体解析模型为训练集图像进行人体解析， 将图像划分为20个语义部 分， 再进一 步归类合并为6个人体 语义标签； 2)对训练集图像进行预处理， 进行数据增强， 将图像大小调整为256 ×128， 并对图像进 行随机采取随机裁剪、 水平翻转和随机擦除， 概率均为50％； 并利用遮挡物图像与局部行人 图像对训练集图像进行遮挡数据增强， 概率为50％， 其中被遮挡物图像增强和局部行人图 像增强的概 率都分别为25％； 3)构建HRNet ‑32为基线的人体语义特征解析模型， 并进行训练； 人体语义特征解析模 型分别为每张输入图像提取1个包含5个人体语义部分信息的局部语义特征、 1个前景语义 特征与1个全局语义特 征共3个特 征； 4)利用一个基于HRNet ‑48的人体关键点特征提取模块提取人体13个关键点特征， 馈入 一个卷积神经网络GCN进行处理后得到13个GCN关键点特征； 利用关键点 ‑局部语义特征相 似度匹配方法将GCN关键点特征与人体语义特征进行匹配与融合， 实现人体关键点信息加 强， 得到1个包 含人体关键点信息的局部语义特 征； 5)利用包含人体关键点信息的局部语义特征、 前景语义特征与全局语义特征共3个特 征参与损失函数的计算； 6)训练完成的网络提取1个包含5个人体语义部分信息的局部语义特征和1个前景语义 特征， 将以上两种 特征分别经过批量归一化层处理， 然后将经过批量归一化处理的两种 特 征沿通道方向进 行拼接的得到最 终特征； 利用最 终特征计算gallery集与query集各个样 本 特征的欧氏距离， 通过gallery集合中的样本按照与query集合中样本的距离计算cmc与 mAP， 最终 实现对行 人样本的重识别。 2.根据权利要求1所述的遮挡行 人重识别方法， 其特 征在于： 步骤1)所述在数据集中选取若干有遮挡的图像并手动剪裁若干不同尺寸的遮挡物图 像具体做法如下： 1‑1)在数据集中随机选取若干存在遮挡物的图像， 对遮挡物部分的图像进行手动剪 裁； 为了进一步模拟实际场景中的遮挡情况， 我们生成两种遮挡物图像， 将高度大于2倍宽 度的遮挡物图像用作垂 直方向遮挡物， 将宽度大于两倍高度的遮挡物用作水平方向的遮挡 物； 1‑2)随机地在训练集中选取图像并剪裁， 生成局部行人图像， 尺寸为所选取的训练集 图像原尺寸的1/4—1/2； 由于训练集中不包含遮挡物， 因此被剪裁到的部分应为行人身体 的一部分， 另有较小的概 率包含背景信息； 1‑3)利用现有的人体解析模型SCHP预先在人体解析数据集人LIP上训练完成后， 将每 张图像分割为20个语义部 分， 我们将这20个语义部 分进行分组归类操作， 最 终得到6个语义 部分， 分别对应 “背景”、“头部”、“上身”、“配饰”、“腿”、“脚”。 3.根据权利要求1所述的遮挡行人重识别方法， 其特征在于： 步骤2)所述对训练集图像权　利　要　求　书 1/4 页 2 CN 115497122 A 2进行预处理， 进行数据增强具体做法如下： 2‑1)将图像大小调整为256 ×128， 并对图像进行随机采取随机裁剪、 水平翻转和随机 擦除， 概率均为50％； 2‑2)利用遮挡物图像与局部行人图像对训练集 图像进行遮挡数据增强， 概率为50％， 其中被遮挡物图像增强和局部行人图像增强的概率都分别为25％， 以相同的概率选择在图 像的上下左右四个方位的其中一个方位进行遮挡。 4.根据权利要求1所述的遮挡行人重识别方法， 其特征在于： 步骤3)所述构 建HRNet‑32 为基线的人体 语义特征解析模型， 并进行训练； 具体步骤如下： 3‑1)将n张训练集图像 以及各个图像的人物身份标签 输入人体语义特征 解析模型对行人图像的像素级 特征进行分类， 以实现对5个人体局部语义特征的提取； 将图 像xi输入人体语义特征解析模型， 利用骨干网络f的映射函数得到图像xi的全局特征图Mg； 公式如下： 其中骨干网络f为一个在ImageNet数据 集上完成预训练的HRNet ‑32网络模型， θ是主干 网络的参数， 全局特征图Mg的尺寸大小64 ×32； c、 h、 w是全局特征图通道、 高度和宽度； 用Mg (x， y)表示空间位置(x， y)处的特 征； 3‑2)将Mg(x， y)经过一个线性层的处理得到6个不同语义部分的置信 度图和一个 前景置 信度图， 分别为P0， P1， P2， P3， P4， P5和Pfore； 计算公式如下： 其中Pk(x， y)表示属于语义部分k的像素(x， y)的置信度， 值得注意的是， P0为背景部分 的置信度； 前 景语义置信度图Pf为5个人体 语义置信度图相加而来； 计算公式如下： 总置信度图记作P＝[ P0， P1， P2， P3， P4， P5]， 为6个语义置信度图沿通道方向拼接而来； 3‑3)将置信度图通过一个softmax层可得到5个局部语义掩膜m1， m2， m3， m4， m5和1个前景 语义掩膜mfore； 局部语义掩膜的计算公式如下： 同理， 可以利用前 景置信度图Pfore计算前景掩膜mfore； 通过下式计算得到 5个部分的语义特 征： 通过下式计算得到1个前 景语义特 征： 通过下式计算得到1个全局语义特 征 fglobal＝GAP(Mg)权　利　要　求　书 2/4 页 3 CN 115497122 A 3