(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210364290.2 (22)申请日 2022.04.07 (71)申请人 浙江工业大 学 地址 310014 浙江省杭州市下城区潮王路 18号 (72)发明人 产思贤　杜锋　白琮　 (74)专利代理 机构 杭州求是专利事务所有限公 司 33200 专利代理师 忻明年 (51)Int.Cl. G06V 20/52(2022.01) G06V 40/10(2022.01) G06N 3/08(2006.01) G06N 3/04(2006.01) G06V 10/44(2022.01)G06V 10/82(2022.01) (54)发明名称 一种基于生成对抗网络的跨模态行人重识 别方法 (57)摘要 本发明公开了一种基于生成对抗网络的跨 模态行人重识别方法， 通过生 成对抗网络生成跨 模态图像进行像素对齐， 然后将同一ID下的真实 图像和生成的跨模态图像输入主干网络Resnet ‑ 50进行特征提取和特征对齐。 通过创建的联合损 失函数来筛选模态共有特征中具有身份区别性 的特征， 对网络模型进行优化。 本发明利用生成 对抗网络以及对传统Resnet ‑50进行修改， 在跨 模态行人重识别任务取得了不 错的效果。 权利要求书2页 说明书7页 附图1页 CN 114743162 A 2022.07.12 CN 114743162 A 1.一种基于生成对抗网络的跨模态行人重识别方法， 其特征在于， 所述基于生成对抗 网络的跨模态行 人重识别方法， 包括： 获取训练数据集， 所述训练数据集中每个训练样本为带有身份标注的第 一图像和第 二 图像， 所述第一图像和第二图像分别为自然光图像和红外线图像中的一种， 将训练样本输 入到生成对抗网络训练生成器； 训练样本 中的第一图像经过所述生成器生成伪第 二图像， 将生成的伪第 二图像与训练 样本中真实第二图像输入到构建的特征对齐网络， 提取伪第二图像特征和真实第二图像特 征； 将伪第二图像与伪第 二图像特征组成伪图像特征对， 将训练样本 中真实第 二图像与真 实第二图像特 征组成真实图像特 征对， 送入联合 鉴别器进行判别； 计算生成对抗网络、 特 征对齐网络和联合 鉴别器的联合损失， 完成网络训练； 将数据库中图像输入到训练好的生成对抗网络 中的生成器， 所述生成器输出伪图像与 待识别图像输入到特征对齐网络， 分别提取对应的图像特征， 通过图像特征的比对， 完成待 识别图像的识别。 2.根据权利要求1所述的基于生成对抗网络的跨模态行人重识别方法， 其特征在于， 所 述特征对齐网络的主干网络采用Resnet ‑50， 包括第一卷积层、 第二卷积层、 第三卷积层和 第四卷积层， 每个卷积层之后设置有NAM注 意力机制模块， 并且第三卷积层和 第四卷积层的 NAM注意力机制模块之后还设置 了MAM模态缓解模块。 3.根据权利要求2所述的基于生成对抗网络的跨模态行人重识别方法， 其特征在于， 所 述第一卷积层、 第二卷积层、 第三卷积层和第四卷积层去除了池化层。 4.根据权利要求2所述的基于生成对抗网络的跨模态行人重识别方法， 其特征在于， 所 述NAM注意力机制模块 位于每个卷积层的批量归一 化层之后。 5.根据权利要求1所述的基于生成对抗网络的跨模态行人重识别方法， 其特征在于， 所 述联合损失表示如下： 其中， Lpix表示生成对抗网络损失， Lfeat表示特征对齐网络损失， LD表示联合鉴别器损 失， 表示生成对抗网络的对抗损失， 表示特征对齐网络的对抗损失， Lcyc表示生成 对抗网络的循环一致性损失， λcyc、 表示对应损失函数的权重， 表示生成对抗网络中 对生成图片的分类损失， 表示生成对抗网络对生成图像计算三元组损失， 表示特 征对齐阶段对特征计算分类损失， 表示特征对齐阶段对特征计算三元组损失， 表 示生成对抗网络的权重， 表示联合鉴器别器鉴别图像—特征对为真时的损失， 表 示联合鉴别器鉴别图像特 征对为假时的损失； 权　利　要　求　书 1/2 页 2 CN 114743162 A 2其中， (x,m)表示输入到 联合鉴别器的 图像特征对， X ′ir表示生成的伪第二图像， Xir表示 真实第二图像， Mir表示真实第二图像经过特征对齐网络提取的特征图， M ′ir表示伪第二图 像经过特征对齐网络提取的特 征图， Dj(x,m)表示联合 鉴别器的输出； 其中， 联合 鉴别器损失计算公式如下： 其中， 表示联合鉴器别器鉴别图像特征对为真， 表示联合鉴别器鉴别图像特 征对为假， Dj(x,m)为联合鉴别器的输出， 当鉴别为真时输出1， 鉴别为假时输出0， E为求数 学期望， (Xir,Mir)表示同一身份下的真实图像特征对， 是与(Xir,Mir)的身份相同的 伪图像特 征对， 是与(Xir,Mir)不同身份下的真实图像特 征对； 其中， 表示对从特征对齐网络提取的Xir和X′ir特征计算分类损失， p()对输入图像 正确分类到其真实身份的预测概 率， 表示对生成图像 计算三元组损失； Lcyc＝‖ Gp'(Gp(Xrgb))‑Xrgb‖1+‖ Gp(Gp′(Xir))‑Xir‖1； 其中， Gp代表生成器， 将第一图像生成伪第二图像， Gp′也是生成器， 将伪第二图像生成 回第一图像， 代表对生成图像X ′ir进行分类损失计算， 代表对生成图像X ′ir和真实红 外图像Xir计算三元组损失， Lcyc表示循环损失函数， Ltri表示三元组损失函数。权　利　要　求　书 2/2 页 3 CN 114743162 A 3