(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210349736.4 (22)申请日 2022.04.02 (71)申请人 广西科学院 地址 530007 广西壮 族自治区南宁市大岭 路98号 (72)发明人 黄德双　万思哲　元昌安　伍永　 (74)专利代理 机构 北京东方盛凡知识产权代理 事务所(普通 合伙) 11562 专利代理师 王颖 (51)Int.Cl. G06V 40/10(2022.01) G06V 10/44(2022.01) G06V 10/143(2022.01) G06V 10/147(2022.01) G06V 10/764(2022.01)G06V 10/82(2022.01) G06K 9/62(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 一种基于MLP-Mixer的跨模态行人重识别方 法 (57)摘要 本发明公开一种基于MLP ‑Mixer的跨模态行 人重识别方法， 其特征在于， 包括以下步骤： 采集 行人可见光图像和行人红外图像； 基于所述行人 可见光图像和所述行人红外图像， 利用MLP ‑ Mixer网络分别提取可见光模态人物特征和红外 模态人物特征； 基于所述可见光模态人物特征和 所述红外模态人物特征， 利用基于位置的自注意 力引导学习模 型提取模态共享特征； 利用损失函 数优化所述模态共享特征， 获得异质模态的区分 性局部特征表示， 进行行人重识别。 本发明提升 了深度学习在行人再识别领域的表现， 使行人再 识别技术可以更好 地解决现实问题。 权利要求书2页 说明书8页 附图3页 CN 115050044 A 2022.09.13 CN 115050044 A 1.一种基于 MLP‑Mixer的跨模态行 人重识别方法， 其特 征在于， 包括以下步骤： 采集行人可见光图像和行 人红外图像； 基于所述行人可见光图像和所述行人红外图像， 利用MLP ‑Mixer网络分别提取可见光 模态人物特 征和红外模态人物特 征； 基于所述可见光模态人物特征和所述红外模态人物特征， 利用基于位置的自注意力引 导学习模型提取模态共享特 征； 利用损失函数优化所述模态共享特征， 获得异质模态的区分性局部特征表示， 进行行 人重识别。 2.根据权利要求1所述的基于MLP ‑Mixer的跨模态行人重识别方法， 其特征在于， 所述 MLP‑Mixer网络包括若干 Mixer‑Layer， 所述Mixer ‑Layer相互堆叠 。 3.根据权利要求2所述的基于MLP ‑Mixer的跨模态行人重识别方法， 其特征在于， 利用 MLP‑Mixer网络分别提取 可见光模态人物特 征和红外模态人物特 征包括： MLP‑Mixer分别将所述行人可见光图像和所述行人红外图像切分为若干个可见光图像 块和红外图像块； 将每个所述可 见光图像块和所述红外图像块进行映射， 获得对应的向量； 将多个同类所述向量组成矩阵； 将所述矩阵输入所述Mixer ‑Layer， 获得所述Mixer ‑Layer的最终输出特征矩阵， 即为 可见光模态人物特 征和红外模态人物特 征。 4.根据权利要求2 或3所述的基于MLP ‑Mixer的跨模态行人重识别方法， 其特征在于， 所 述Mixer‑Layer为： U*,i＝X*,i+W2·σ(W1·LN(X)*,i) Yj,*＝Uj,*+W4·σ(W3·LN(U)j,*) 其中， σ 为Sigmoid函数， LN为层标准化函数， X为输入特征矩阵， W为网络参数矩阵， i、 j 分别表示特征矩阵两个维度的序号， U为一层Mixer ‑Layer结构计算的中间结果， Y为一层 Mixer‑Layer的输出 结果。 5.根据权利要求1所述的基于MLP ‑Mixer的跨模态行人重识别方法， 其特征在于， 所述 MLP‑Mixer网络包括Channel ‑mixing MLPs和Token ‑mixing MLPs， 其中， 所述Channel ‑ mixing MLPs用于学习不同的通道之间的交叉信息， 所述Token ‑mixing MLPs用于 学习不同 图像块之间的交叉信息， 所述Channel ‑mixing MLPs和所述Token ‑mixing MLPs交错叠加， 并且利用层标准 化机制和残差连接 机制进行不同维度的信息交叉处 理。 6.根据权利要求1所述的基于MLP ‑Mixer的跨模态行人重识别方法， 其特征在于， 所述 利用基于位置的自注 意力引导学习模型提取模态共享特征包括： 将所述基于位置的自注意 力引导学习模型设置在所述MLP ‑Mixer网络中， 利用所述基于位置的自注意力引导学习模 型， 分别对所述可见光模态人物特征和所述红外模态人物特征进行局部特征提取， 获得所 述模态共享特 征。 7.根据权利要求1所述的基于MLP ‑Mixer的跨模态行人重识别方法， 其特征在于， 所述 损失函数包括交叉熵损失函数和异中心损失函数， 其中， 所述交叉熵损失函数用于对特定 模态的特 征进行分类， 所述异中心损失函数用于进行跨模态约束。 8.根据权利要求7所述的基于MLP ‑Mixer的跨模态行人重识别方法， 其特征在于， 所述权　利　要　求　书 1/2 页 2 CN 115050044 A 2交叉熵损失函数为： 其中， N表示批次大小， Wi表示第i列重量， b表示偏差项， I表示身份的数量， xn表示属于 第y类别的第n个可 见光和红外特 征。 9.根据权利要求7所述的基于MLP ‑Mixer的跨模态行人重识别方法， 其特征在于， 所述 异中心损失函数为： 其中， Cm,1和Cm,2分别为第i个类别中可见光图像和红外图像 的特征表示向量的中心， V 为属于第i类的可 见光图像的数量， I 为属于第i类的红外图像的数量， M是类的数量。权　利　要　求　书 2/2 页 3 CN 115050044 A 3