(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211171601.X (22)申请日 2022.09.26 (71)申请人 天津理工大 学 地址 300384 天津市西青区 宾水西道391号 (72)发明人 龚丽敏　徐海霞　高赞　温显斌　 (74)专利代理 机构 天津佳盟知识产权代理有限 公司 120 02 专利代理师 林玉慧 (51)Int.Cl. G06V 20/52(2022.01) G06V 40/10(2022.01) G06V 10/74(2022.01) G06V 10/764(2022.01) G06V 10/26(2022.01) G06V 10/774(2022.01)G06T 5/00(2006.01) G06T 3/40(2006.01) G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 换装行人重识别方法、 装置、 设备和计算机 可存储介质 (57)摘要 本发明属于计算机视觉技术领域， 具体地 说， 是一种基于细粒度语义选择与屏蔽的， 换装 行人重识别方法、 系统、 电子设备及存储介质。 本 发明包含两个特征提取网络， 分别获取行人的像 素级标签及相应的部位像素预测向量和图像的 全局特征。 通过输入的行人图像以及相应的像素 级标签， 可以获取行人的图像特征、 各部位区域 特征以及前景特征。 通过像素级标签， 选择性的 选取除服装外的语义部位学习人体表征， 再将这 些部位表征输入到注意力模块， 让原始图像特征 突出行人的肢体等部位信息而抑制服装等信息， 这样让换装行人重识别模型学习更多服装无关 信息为行人提取更具有判别性和更鲁棒的特征 表示。 本发明尤适用于公共安全领域。 权利要求书2页 说明书7页 附图1页 CN 115482508 A 2022.12.16 CN 115482508 A 1.一种换装行 人重识别方法； 其特 征在于， 该 方法具体包 含以下步骤： 1)获取原 始图像并进行 数据增强， 如随机 裁剪、 水平翻转和随机擦除等操作； 2)将原始图像输入网络中得到行人图像对应的像素标签及相应的部位特征和图像的 全局特征； 3)通过像素标签选取除服装外的人体部分特征并按通道拼接， 将其送入注意力模块获 取相应部位增强的特 征表示； 4)测试阶段使用图像的全局特征来进行相似度匹配， 并将排序 结果作为重识别结果进 行输出； 利用损失函数对所述局部增强的特征表示、 全局特征表示与像素标签分类进行训练约 束。 2.根据权利要求1所述的换装行人重识别方法， 其特征在于， 步骤1)对输入的原始图像 进行数据增强操作包括： 图片像素大小调整为256 ×128， 并对图片随机采 取随机裁剪、 水平 翻转和随机擦除， 概 率均为50％。 3.根据权利要求1所述的换装行人重识别方法， 其特征在于， 步骤2)所述网络由两个分 支组成； 特征提取网络A采用HRNet网络结构； 特征提取网络B采用基于ViT ‑B/16的 TransReID模 型结构； 其中通过特征提取网络A可以获得行人各部位的像素标签以及人体的 5个局部语义特征， 其中该像素标签 分别为用0 ‑5来表示背景、 头部、 上衣、 下衣、 胳膊和腿等 六个部分； 5个局部语义特征分别为头部特征、 上衣特征、 下衣特征、 胳膊特征和腿部特征； 通过特征提取网络B提取 行人的全局特 征。 4.根据权利要求1所述的换装行人重识别方法， 其特征在于， 步骤3)所述通过像素标签 选取除服装区域外的语义特征并按通道拼接， 输入注意力模块进 行特征增强按以下步骤实 施； 3‑1)输入一小批次图像X＝[X1,X2,…,XB]， B表示输入批次的大小； Xi表示输入的图像， 其形状为C*H*W， C表 示通道数、 H表 示高度、 W表 示宽度； 通过特征提取网络A获得输入图像的 人体语义分割预测图， 其形状为B*k*1/4h*1/4w， 其中B表示输入图像的批次大小， h和w分别 表示输入图像的高度和宽度， k表 示特征提取网络A预测的像素标签的类别数； 使用softmax 函数得到每个像素类别的预测向量， 其形状为 k*1/4h*1/4w； 3‑2)将特征提取网络B提取的全局特征f_global与像素类别为1、 4、 5的预测向量逐像 素相乘得到相应类别的局部特征f_1， f_4， f_5， 为了屏蔽服装区域的语义信息， 将 像素类别 为上衣像素标签2和下衣像素标签3的预测向量与一个0向量相乘得到上衣的局部特征f_2 和下衣的局部特征f_3， 分别将这些局部特征进行全局池化后按通道将它们顺序拼接得到 一个除服装外的特 征表示f_par t； 3‑3)将步骤3 ‑2)所得特征f_part输入注意力模块学习一个加权特征向量并对该特征 图的通道特征进行重新赋权重， 并通过全局池化操作来获取除服装外语义增强的特征表 示； 其中所述注意力模块由一个全局平均池化与两个全连接层组成， 其公式表示为； F_w＝ F_C2(F_C1(F_GAP(f_part)))， 其中f_part表示特征图； F_GAP表示全局池化； F_C1， F_C2分 别表示两个全连接层的权 重矩阵。 5.根据权利要求1所述的换装行人重识别方法， 其特征在于， 步骤4)所述测试阶段按以 下步骤进行；权　利　要　求　书 1/2 页 2 CN 115482508 A 24‑1)加载训练好的模型， 输入测试图像， 经过图像预处理后， 通过训练好的模型得到图 像全局特 征； 4‑2)计算测试特征与检索库中各个行人图像特征的相似性并进行按从高到低的顺序 排序， 并将相似性 最高的结果作为重识别结果进行输出。 6.根据权利要求1所述的换装行人重识别的方法， 其特征在于， 所述损失函数包括交叉 熵损失、 均方误差损失还有三重损失函数， 其表达如下： L＝Lglobal+Lmse+Lpart+λLparsing， 其中使用交叉熵损失计算特征提取网络A输出的像素标签与其输出的像素预测图之间 的损失， 记为Lparsing； 使用交叉熵损失计算人体部分特征与真实行人标签之间的损失， 记为 Lpart； Lmse为用于约束所述全局特征表示与所述局部增强的特征表示之间的均方误差损失； 使用交叉熵损失和三元 组损失计算图像全局特征与真实行人标签之间的损失， 记 为Lglobal， λ为平衡权 重。 7.根据权利要求6所述的换装行人重识别的方法， 其特征在于， 所述均方误差约束为了 使模型学习布料 无关的特 征信息； 其中均方误差约束计算如下： 其中， B是输入批次大小， ‖ ·‖表示L2范数， fglobal是X的全局特征， f'global是指图像全局 特征与局部特 征经过注意力模块加权后的局部增强特 征。 8.一种换装行 人重识别装置， 其特 征在于， 包括； 人体语义分割单元， 用于获取待处理行人图像； 并训练特征提取网络A获得行人图像中 每个部位对应的像素 预测向量以及各部位对应的语义特 征； 局部特征增强获取单元， 用于选择获取除服装区域外的人体语义信息， 并通过注意力 模块， 根据所述人体语义信息获取除服装外的人体语义增强的特征表示； 并根据其与全局 特征融合后的特 征来获取待检索图像； 结果识别单元， 将所述待检索图像与检索库中的图像进行相似度匹配， 并按照相似性 从高到低顺序对待检索图库中的图像进行排序， 并将相似度最高的行人图像作为待处理的 行人图像的识别结果。 9.一种换装行 人重识别设备， 其特 征在于， 所述设备包括； 至少一个处 理器； 以及， 与所述至少一个处 理器通信连接的存 储器； 其中， 所述存储器存储由可被所述至少一个处理器执行的指令， 所述指令被至少一个处理器 执行， 以使 所述至少一个处理器能够执行所述权利要求 1至7中任一所述的换装 行人重识别 方法中的步骤。 10.一种计算机可读存储介质， 存储有计算机程序， 其特征在于， 所述计算机程序被处 理器执行时实现如权利要求1至7中任一所述的换装行 人重识别方法中的步骤。权　利　要　求　书 2/2 页 3 CN 115482508 A 3