(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210135424.3 (22)申请日 2022.02.14 (71)申请人 广东工业大 学 地址 510090 广东省广州市越秀区东 风东 路729号 申请人 河源市湾区数字经济技 术创新中心 (72)发明人 郭思琦　谭台哲　 (74)专利代理 机构 广州粤高专利商标代理有限 公司 44102 专利代理师 禹小明 (51)Int.Cl. G06V 20/52(2022.01) G06V 40/10(2022.01) G06V 10/44(2022.01) G06V 10/764(2022.01)G06V 10/82(2022.01) G06K 9/62(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 一种基于多特征学习的跨模态行人重识别 方法及系统 (57)摘要 本发明提出一种基于多特征学习的跨模态 行人重识别方法及系统， 包括： 获取若干批次的 可见光图像和红外图像， 并输入包括双流网络的 跨模态行人重识别模型中， 模型输出可见光图像 和红外图像的全局特征和局部特征。 根据全局特 征和局部特征， 计算困难五元组损失、 全局身份 损失和特定身份损失以构建模型的整体损失函 数。 根据整体损失函数对模型进行参数优化； 将 待测试的行人的可见光图像、 红外图像以及待识 别的目标图像输入优化后的模型中， 模型输出行 人重识别结果。 本发明考虑了两种模态图像的全 局特征以及局部特征， 弥补了仅使用一种特征来 进行行人重识别造成的不足， 增强了模型特征的 辨别性和鲁棒性， 提高了跨模态行人重识别的识 别精度。 权利要求书3页 说明书9页 附图2页 CN 114495010 A 2022.05.13 CN 114495010 A 1.一种基于多特 征学习的跨模态行 人重识别方法， 其特 征在于， 包括以下步骤： S1： 构建包括双流网络的跨模态行 人重识别模型； S2： 随机获取若干 批次行人的可见光图像和红外图像， 构建训练集和 测试集； S3： 按批次将所述可见光图像和所述红外图像分别输入跨模态行人重识别模型中， 跨 模态行人重识别模型输出可见光图像和红外图像的全局特征， 以及可见光图像和红外图像 局部特征； S4： 根据所述全局特征计算困难五元组损失和全局身份损失， 根据所述局部特征计算 特定身份损失； S5： 根据困难五元组损失、 全局身份损失和特定身份损失构建跨模态行人重识别模型 的整体损失函数， 根据所述整体损失函数对跨模态行 人重识别模型进行参数优化； S6： 将测试集中的图像和待识别的目标图像输入优化后的跨模态行人重识别模型， 计 算待识别的目标图像与测试集中的图像之间的特征相似度， 输出测试集中前M张与待识别 的目标图像特 征相似度最高的图像， 作为行 人重识别结果。 2.根据权利要求1所述的基于多特征学习的跨模态行人重识别方法， 其特征在于， S3 中， 将所述可见光图像和红外图像分别输入跨模态行人重识别模型中， 分别得到可见光图 像和红外图像的三维张量； 对可见光图像和红外图像的三维张量进行全局 平均池化， 得到可见光图像和红外图像 的全局特 征； 将可见光图像和红外图像的三维张量水平分割为K个水平部分张量， 对所述K个水平部 分张量进行全局平均池化， 得到K个列向量； 采用卷积层 对所述k个列向量进 行降维， 得到可 见光图像和红外图像的局部特 征。 3.根据权利要求1所述的基于多特征学习的跨模态行人重识别方法， 其特征在于， S2 中， 随机获取若干批次行人 的可见光图像和红外图像， 每一批次包括N类行人 的P张可见光 图像和P张红外图像， 共2NP张图像。 4.根据权利要求3所述的基于多特征学习的跨模态行人重识别方法， 其特征在于， S4 中， 根据可 见光图像和红外图像的全局特 征计算困难五元组损失LHP， 其计算公式如下 所示： 其中， N表示行人的类别数， P表示可见光图像或红外图像的数量， Lhgt表示困难全局三 元组损失， Lhct表示困难跨模态三元组损失； 所述困难 全局三元组损失Lhgt的计算公式如下 所示： 其中， p＝1...2P， a＝1...2P， p≠a， n＝1...2P， i＝1...N， j＝1...N， j≠i， α表示图像 之间最大欧式距离和最小欧式距离之差； fia表示行人类别为i的第a张图像的全局特征， fip 表示行人类别为i的第p张图像的全局特征， fjn表示行人类别为j的第 n张图像的全局特征； max d(fia， fip)表示行人类别为i的第a张图像与行人类别为i的第n张图像的最大欧式距 离， min d(fia， fjn)表示行人类别为i的第a张图像与行人类别为j的第n张图像的最小欧式权　利　要　求　书 1/3 页 2 CN 114495010 A 2距离； 函数[*]+中， 若*大于 0， [*]+输出*， 若*小于或等于 0， [*]+输出为0； 所述困难跨模态三元组损失Lhct的计算公式如下 所示： 其中， ficp表示行人类别为i且与fia不属于同一模态图像的全局特征， 表示行人类别 为j且与fia不属于同一模态图像的全局特征； 表示行人类别为i的第a张图像 与另一个模态中行人类别为j的图像中的最小欧式距离， maxd(fia， ficp)表示行人类别为i的 第a张图像与另一个模态中行 人类别为 i的图像的最大欧式距离 。 5.根据权利要求4所述的基于多特征学习的跨模态行人重识别方法， 其特征在于， S4 中， 使用全局分类器， 对所述全局特征进行身份分类， 计算交叉熵损失作为全局身份损失 Lid， 其计算公式如下 所示： 其中， 表示第i张可见光图像的标签， V表示可见光图像， 表示全局分类器对第i张 可见光图像进行分类的概率结果； 为第i张红外图像的标签， I表示红外图像， 表示全局 分类器对第i张红外图像进行分类的概 率结果。 6.根据权利要求5所述的基于多特征学习的跨模态行人重识别方法， 其特征在于， S4 中， 使用可见光分类器对可见光图像的局部特征进行身份分类， 使用红外分类器对红外图 像对应的局部特征进 行身份分类， 计算交叉熵损失作为特定身份损失Lsid， 其计算公式如下 所示： 其中， 表示可见光分类器对第i张可见光图像的第j个局部特征进行分类的概率结 果， 表示红外分类 器对第i张红外图像的第j个局部特 征进行分类的概 率结果； 则根据困难五元组损失LHP、 全局身份损失Lid和特定身份损失Lsid构建跨模态行人重识 别模型的整体损失函数L， 其表达式如下 所示： L＝Lid+LHP+λLsid 其中， λ为损失函数的权 重参数。 7.根据权利要求1 ‑6任一项所述的基于多特征学习的跨模态行人重识别方法， 其特征 在于， S1中， 所述双流网络包括可 见光模态网络和红外模态网络； 所述可见光模态网络包括第一卷积模块、 第二卷积模块、 第三卷积模块、 第四卷积模 块、 第五卷积模块、 第六卷积模块、 第一水平分割模块、 第一池化层、 可见光分类器和第一全 局分类器； 所述第一卷积模块、 第二卷积模块、 第三卷积模块、 第四卷积模块和第 五卷积模 块依次连接， 所述第五卷积模块的输出端分别与第一水平分割模块和 第一池化层的输入端 连接； 所述第一水平分割模块的输出端与所述第六卷积模块的输入端连接， 所述第六卷积 模块的输出端与所述可见光分类器的输入端连接； 所述第一池化层的输出端与所述第一全权　利　要　求　书 2/3 页 3 CN 114495010 A 3