(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210848547.1 (22)申请日 2022.07.19 (71)申请人 北京龙智数 科科技服务有限公司 地址 100020 北京市朝阳区北 苑小街8号6 号楼五层5 305 (72)发明人 黄泽元　 (74)专利代理 机构 北京嘉科知识产权代理事务 所(特殊普通 合伙) 11687 专利代理师 杨超 (51)Int.Cl. G06V 40/10(2022.01) G06V 10/82(2022.01) G06V 10/44(2022.01) G06V 10/25(2022.01) G06N 3/08(2006.01)G06N 3/04(2006.01) (54)发明名称 遮挡环境下 行人再识别方法 (57)摘要 本公开涉及图像处理技术领域， 提供了一种 遮挡环境下行人再识别方法。 该方法包括： 通过 构建主干网络、 编码网络和解码网络； 利用第一 损失函数对主干网络进行第一训练； 建立图片重 建任务， 并基于图片重建任务， 利用第二损失函 数对编码网络和解码网络组成的图片重建模型 进行第二训练； 建立图片比对任务， 并基于图片 比对任务和图片重建任务， 利用第二损失函数和 第三损失函数对主干网络、 编码网络和解码网络 组成的第一行人再识别模型进行第三训练； 基于 图片比对任务， 利用第一损失函数、 第四损失函 数和第五损失函数对主干网络和编码网络组成 的第二行 人再识别模型进行第四训练。 权利要求书3页 说明书12页 附图3页 CN 115147871 A 2022.10.04 CN 115147871 A 1.一种遮挡环境下 行人再识别方法， 其特 征在于， 包括： 构建主干网络、 编码网络和解码网络； 利用第一损失函数对所述主干网络进行第 一训练， 使得所述主干网络可以从行人图片 中提取到第一特 征； 建立图片重建任务， 并基于所述图片重建任务， 利用第二损 失函数对所述编码网络和 所述解码网络组成的图片 重建模型进 行第二训练， 使得所述图片 重建模型可以对所述行人 图片进行重建， 重建后的行 人图片的部分被遮挡； 建立图片比对任务， 并基于所述图片比对任务和所述图片重建任务， 利用所述第二损 失函数和 第三损失函数对所述主干网络、 所述编码网络和所述解码网络组成的第一行人再 识别模型进行第三训练， 使得所述第一行人再识别模型可以识别多张所述行人图片是否属 于同一行 人； 基于所述图片比对任务， 利用所述第一损 失函数、 第 四损失函数和第五损 失函数对所 述主干网络和所述编码网络组成的第二行人再识别模型进 行第四训练， 使得所述第二行人 再识别模型 可以识别多张所述行 人图片是否属于同一行 人； 获取待识别图片集， 利用所述行人再识别模型识别出所述待识别图片集中的属于目标 行人的多张目标 行人图片。 2.根据权利要求1所述的方法， 其特 征在于， 所述编码网络进行如下操作： 第二特征， 包括： 第 一阶段特征、 第二阶段特征、 第三阶段特征和第四阶段特征， 所述第 一阶段特征、 所述第二阶段特征、 所述第三阶段特征和所述第四阶段特征是分别通过所述 主干网络的四个阶段输出的； 用所述第二特征分别乘以第一矩阵参数、 第二矩阵参数和第三矩阵参数， 得到第一相 乘矩阵、 第二相乘 矩阵和第三相乘 矩阵； 利用归一化指数函数处理所述第 二相乘矩阵乘以所述第 一相乘矩阵的转置的结果， 得 到第一处 理矩阵； 用所述第一处 理矩阵乘以所述第三相乘 矩阵， 得到特 征矩阵； 利用激活函数处 理所述特 征矩阵乘以第四相乘 矩阵的结果， 得到第二处 理矩阵； 用所述第二处 理矩阵乘以第五相乘 矩阵， 得到第三特 征。 3.根据权利要求1或2所述的方法， 其特 征在于， 包括： 所述编码网络用于提供编码运算， 所述解码网络用于提供解码运算， 所述解码运算是 所述编码运 算的逆运 算； 将第三特征输入所述解码网络， 输出第四特征， 其中， 所述第三特征是所述编码网络的 输出。 4.根据权利要求3所述的方法， 其特 征在于， 所述图片重建任务， 包括： 对输入所述编码网络前的行 人图片进行随机擦除处 理； 对所述第四特 征进行多次上采样和反卷积， 得到所述行 人图片重建后的图片。 5.根据权利要求1所述的方法， 其特 征在于， 所述第一损失函数l oss1： loss1＝max(dist(fa,fp)‑dist(fa,fn)+m,0) 其中， fa,fp均是第一行人的两张所述行人图片的第一特征， fn是第二行人的所述行人 图片的第一特 征， m是常数， max()是 取大函数， dist()是欧式距离加权函数；权　利　要　求　书 1/3 页 2 CN 115147871 A 2和/或， 所述第二损失函数l oss2： loss2＝∑|RePic ‑Pic| 其中， RePic是所述行人 图片重建后的图片， Pic是所述行人 图片， ∑是求和函数， ||求 取绝对值的符号； 和/或， 所述第三损失函数l oss3： loss3＝dist(fRePic,fpic) 其中， fRePic是所述行人图片重建后的图片的第一特征， fpic是所述行人图片的第一特 征， dist()是欧式距离加权函数。 6.根据权利要求1所述的方法， 其特 征在于， 所述第四损失函数l oss4： 其中， 均是第一 行人的两张所述 行人图片的第二 特征， 是第二行人的所述 行 人图片的第二特 征， m是常数， max()是 取大函数， dist()是欧式距离加权函数； 和/或， 所述第五损失函数l oss5： 其中， 是第一行人的一张所述行人图片的第二特征， fp是第一行人的另一张所述行 人图片的第一特征， fn是第二行人的所述行人图片的第二特征， m是常数， max()是取大函 数， dist()是欧式距离加权函数。 7.根据权利要求3所述的方法， 其特 征在于， 包括： 对第二特征依次进行卷积计算、 利用激活函数处理、 以及乘以所述第 三特征， 得到相乘 结果； 用所述相乘结果更新所述第三特 征。 8.一种遮挡环境下 行人再识别装置， 构建模块， 被 配置为构建主干网络、 编码网络和解码网络； 第一训练模块， 被配置为利用第一损 失函数对所述主干网络进行第一训练， 使得所述 主干网络可以从行 人图片中提取到第一特 征； 第二训练模块， 被配置为建立图片重建任务， 并基于所述图片重建任务， 利用第 二损失 函数对所述编 码网络和所述解码网络组成的图片重 建模型进 行第二训练， 使得所述图片重 建模型可以对所述行 人图片进行重建， 重建后的行 人图片的部分被遮挡； 第三训练模块， 被配置为建立图片比对任务， 并基于所述图片比对任务和所述图片重 建任务， 利用所述第二损失函数和第三损失函数对所述主干网络、 所述编码网络和所述解 码网络组成的第一行人再识别模型进 行第三训练， 使得所述第一行人再识别模型可以识别 多张所述行 人图片是否属于同一行 人； 第四训练模块， 被配置为基于所述图片比对任务， 利用所述第一损失函数、 第四损失函 数和第五损失函数对所述主干网络和所述编码网络组成的第二行人再识别模型进行第四 训练， 使得 所述第二行 人再识别模型 可以识别多张所述行 人图片是否属于同一行 人； 识别模块， 被配置为获取待识别图片集， 利用所述行人再识别模型识别出所述待识别 图片集中的属于目标 行人的多张目标 行人图片。权　利　要　求　书 2/3 页 3 CN 115147871 A 3