(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210123546.0 (22)申请日 2022.02.10 (71)申请人 南通大学 地址 226019 江苏省南 通市崇川区啬园路9 号 (72)发明人 王进　张天奇　江锴威　 (74)专利代理 机构 南京瑞弘专利商标事务所 (普通合伙) 32249 专利代理师 秦秋星 (51)Int.Cl. G06V 40/10(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01) G06V 10/44(2022.01) G06V 10/42(2022.01)G06V 10/56(2022.01) G06V 10/82(2022.01) (54)发明名称 基于全局级别和局部级别联合约束的跨模 态行人再识别方法 (57)摘要 本发明公开了一种基于全局级别和局部级 别联合约束的跨模态行人再识别方法。 首先， 提 出了基于非局部注意力机制的残差网络， 提取共 享特征， 减少跨模态差异。 其次， 提出了全局级别 和局部级别的联合约束， 增加对背景、 遮挡等噪 声的鲁棒性， 减少模内差异。 特别地， 利用对局部 特征的划分策略， 避免了非局部注 意力机制缺少 位置相关性的问题， 进一步增加了模型的鲁棒 性。 权利要求书2页 说明书11页 附图4页 CN 114550208 A 2022.05.27 CN 114550208 A 1.一种基于全局级别和局部级别联合约束的跨模态行人再识别方法， 其特征在于， 包 括如下步骤： 步骤1： 输入两种模态的图像至GL oC‑Net模型， 进入步骤2； 步骤2： 将步骤1中输入的两种模态的图像生成富含 全局性的共享特 征， 进入步骤3； 步骤3： 从共享特 征中提取对应的全局特 征， 进入步骤4； 步骤4： 从共享特 征中提取对应的局部特 征， 进入步骤5； 步骤5： 对步骤3获得的全局特征与步骤4获得的局部特征进行全局级别和局部级别联 合约束， 并通过反向传播的方式更新模型参数， 进入步骤6； 步骤6： 若达 到指定的训练轮数， 则进行步骤7， 否则继续完成训练， 返回步骤1。 2.根据权利要求1所述的一种基于全局级别和局部级别联合约束的跨模态行人再识别 方法， 其特征在于， 步骤2中， 利用ResNet50网络和非局部注 意力块将步骤1 中输入的两种模 态的图像生成富含 全局性的共享特 征； 具体步骤如下： 步骤2‑1： 将两种模态的图像输入网络， 分别经过一层卷积网络， 用来提取两种模态的 浅层特征fiOri‑RGB和 步骤2‑2： 将fiOri‑RGB和 同时输入由ResNet50后四层的卷积层和非局部注意力块 组 成的网络中， 分别形成两种模态的共享特 征fiShare‑RGB和 步骤2‑3： 输出共享特 征fiShare‑RGB和 3.根据权利要求2所述的一种基于全局级别和局部级别联合约束的跨模态行人再识别 方法， 其特 征在于， 步骤2 ‑1中， 两种模态的图像经 过的卷积层的结构相同， 参数不同。 4.根据权利要求2所述的一种基于全局级别和局部级别联合约束的跨模态行人再识别 方法， 其特征在于， ResNet50的四个卷积层内的第二个和第三个卷积层处， 分别嵌入两个非 局部注意力块， 组合 为步骤2‑2的提取共享特 征的网络 。 5.根据权利要求1所述的一种基于全局级别和局部级别联合约束的跨模态行人再识别 方法， 其特 征在于， 步骤3中提取全局特 征的步骤如下： 步骤3‑1： 将步骤2获得的共享特征fiShare‑RGB和 进行全局平均池化， 得到富含全局 性的准全局特 征fiGP‑RGB和 步骤3‑2： 将fiGP‑RGB和 输入BN层， 生成最终的全局特 征fiG‑RGB和 步骤3‑3： 输出全局特 征fiG‑RGB和 6.根据权利要求5所述的一种基于全局级别和局部级别联合约束的跨模态行人再识别 方法， 其特征在于， 步骤3 ‑2中， 使用的BN层可使数据分布近似正态分布， 避免梯度消失问 题。 7.根据权利要求1所述的一种基于全局级别和局部级别联合约束的跨模态行人再识别 方法， 其特 征在于， 步骤4中提取局部特 征的步骤如下： 步骤4‑1： 利用1×1卷积操作， 将步骤2获得的共享特征fiShare‑RGB和 的通道数降至 原来的四分之一， 得到fiShare‑RGB′和 权　利　要　求　书 1/2 页 2 CN 114550208 A 2步骤4‑2： 对fiShare‑RGB′和 进行四等分的划分操作， 并分别对每个等分后的部分进 行平均池化的操作， 得到由四个局部特征块组成的局部特征组 和 步骤4‑3： 将局部特征组fiLP‑RGB和 分别输入到对应的BN层中， 分别将经过BN层的局 部特征组内的局部特 征块拼接， 得到最终的局部特 征 和 步骤4‑4： 输出局部特 征 和 8.根据权利要求1所述的一种基于全局级别和局部级别联合约束的跨模态行人再识别 方法， 其特征在于， 步骤5中的全局级别和局部级别联合约束由全局级别约束损失、 局部级 别约束损失和 局部特征约束全局特 征损失组成。 9.根据权利要求1所述的一种基于全局级别和局部级别联合约束的跨模态行人再识别 方法， 其特征在于， 步骤5中全局级别约束损失和局 部级别约束损失均基于VI ‑ReID任务的 困难三元组损失和身份损失。 10.根据权利要求9所述的一种基于全局级别和局部级别联合约束的跨模态行人再识 别方法， 其特征在于， 基于VI ‑ReID任务的困难三元组损失和身份损失在传统三元 组损失和 身份损失的基础上， 考虑了两种不同模态， 并增加了困难采样的过程； 困难三元组损失和身 份损失会对两种模态的困难样本进行困难采样， 从中选出最难匹配的正样本对、 最容易匹 配的负样本对， 进 而计算出损失。权　利　要　求　书 2/2 页 3 CN 114550208 A 3