(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211105764.8 (22)申请日 2022.09.09 (71)申请人 山东大学 地址 266237 山东省青岛市 即墨滨海路72 号 (72)发明人 刘琚　江潇　马豪　周正　梁梦男　 曹旭　 (74)专利代理 机构 济南圣达知识产权代理有限 公司 372 21 专利代理师 于凤洋 (51)Int.Cl. G06V 40/10(2022.01) G06V 20/52(2022.01) G06V 10/762(2022.01) G06V 10/82(2022.01)G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 一种可区分相似行人的无监督行人重识别 方法 (57)摘要 本发明提出了一种可区分相似行人的无监 督行人重识别方法， 属于深度学习和计算机视觉 技术领域。 行人重识别技术在应用中依赖于视频 监控获得的庞大数据， 这些数据的人工标注需要 耗费极大的人力成本， 因此， 无监督行人重识别 技术获得了空前的发展机遇。 在公共场所中， 着 装、 装饰以及姿态相似的行人非常普遍， 对行人 重识别技术提出了重大挑战。 为解决这一突出问 题， 本发明提出了基于参数传递的双流聚类对比 学习框架； 同时， 提出了一种简单高效的去除摄 像机风格偏移影响的聚类方法； 最后， 为了发挥 注意力机制在无监督行人重识别领域的作用， 本 发明提出了一种简洁有效的聚类注 意力机制。 本 发明在大型行人重识别数据集上均表现出了极 为优异的性能。 权利要求书1页 说明书5页 附图1页 CN 115457597 A 2022.12.09 CN 115457597 A 1.一种可区分相似行人的无监督行人重识别方法， 该方法首先使用基于参数传递的无 监督双流对比学习来增强相似行人特征集群之间的差异性； 其次， 为了克服摄像机差异对 行人重识别性能的影响， 该方法通过提取代表摄像机差异带来的所有偏移影响的摄像机风 格特征， 并消除摄像机风格特征来削弱摄像机风格变化带来的影响； 并且， 该方法构 造了一 种基于可学习矩阵的简洁有效的无监督注意力机制来解决无监督行人重识别缺少注意力 机制的问题， 具体的步骤 包括： 1)准备无标注的行 人重识别数据集； 2)初始化无监 督注意力机制； 3)分别使用可 学习参数 λa和 λm对平均池化和最大池化进行加权； 4)将聚类注意力机制和加权的最大池化、 平均池化融合到ResNet50当中组成骨干网 络； 5)使用骨干网络提取 行人特征； 6)消除摄像机风格偏移的影响： 提取摄像机风格特征， 并在聚类过程之前消除摄像机 风格特征； 7)初始化平均特征存储器Mmean和最大特征存储器Mmax， 尺寸均为(N,C)， 其中N表示 聚类 的数量， 使用行人聚类的平均特征初始化平均特征存储器Mmean， 使用行人聚类的最大特征 初始化最大特征存储器Mmax， 使用最大特征来代表一个聚类时， 行人重识别模型会聚焦于聚 类中行人的突出特征， 不同行人的聚类会因为突出特征的巨大差异变的更加独立； 同时， 通 过提取骨干网络中平均池化和最大池化的加权参数λa和 λm分别对Mmean和Mmax进行加权， 平衡 平均特征存储器Mmean和最大特征存储器Mmax对训练过程的作用； 8)使用伪标签生成训练集， 利用数据增强技术对所有图片进行尺寸调整、 填充、 随机水 平翻转、 随机 裁剪和随机擦除； 9)在每次迭代过程中， 提取训练集图像的特征分别与平均特征存储器和最大特征存储 器中的特征计 算对比损失， 得到损失Lmean和Lmax， 计算Lmean和Lmax之间的一致性损失Lcon， 并对 存储器进行动量更新； 10)推理过程中， 使用削减摄 像机风格特 征的行人特征作为检索时的匹配特 征。 2.根据权利要求1所述的一种可区分相似行人的无监督行人重识别方法， 其特征在于： 步骤2)中， 针对 无监督行人重识别缺少注 意力机制这一问题， 定义一个可学习矩阵A 来初始 化适应于无监督训练的聚类注意力机制， A的尺寸与ResNet50中layer4所提取的特征的通 道数相同， 均用C表示， 该矩阵在训练过程中将复制为训练批次的大小， 通过sigmoid激活函 数后形成热度值， 最后与每一张图片提取的特 征相乘， 获得每一张行 人图片的注意力图谱。 3.根据权利要求1所述的一种可区分相似行人的无监督行人重识别方法， 其特征在于： 步骤6)中， 为了消除摄像机差异对无监督行人重识别的影响， 使用每个摄像机下所有图片 提取特征 的平均特征来表示摄像机风格特征： 在聚类的开始阶段， 用每张图片的特征减去 摄像机的风格特征， 从而得到无摄像机风格偏移影响的行人特征， 最后使用这个特征通过 DBSCAN聚类算法产生伪标签， 可以保证跨摄 像机下行人特征的一致性。权　利　要　求　书 1/1 页 2 CN 115457597 A 2一种可区分相似行人 的无监督行人重识别方 法 技术领域 [0001]本发明属于深度学习和计算机视觉技术领域， 具体涉及 一种可区分相似行人的无 监督行人重识别方法。 背景技术 [0002] [0003]行人重识别旨在从多个摄像头的网络中找到一个感兴趣的行人。 随着视频监控需 求的不断增长， 昂贵的人工标签成本日益限制了行人重识别 在现实场景中的应用。 近年来， 许多优秀的无监督行人重识别方法被提出来解决这个问题。 这些方法分为两种 方法： 无监 督域自适应的行人重识别(UDA)和纯无监督的行人重识别(USL)。 基于UDA的行人重识别 方 法通常在有标签的源数据集上对模型进行预训练， 在无标签的目标数据集上对模型进 行微 调。 与基于UDA的两阶段策略不同， 基于USL的方法只是在无标签的数据集上进 行模型训练， 而不需要在其他数据集上进行预训练， 因此， 基于USL的行人重识别方法更加具有挑战性。 本发明也属于USL的范畴。 [0004]先进的USL方法通常使用伪标签对学习过程进行监督， 并采用 动量更新存储器 的 对比学习框架。 然 而， 这些方法都存在以下不足： [0005]1)这些方法采用行人聚类的平均特征来代表整个聚类， 这种操作无法避免外表相 似行人之间聚类的相似性。 [0006]2)摄像机因为安装场景的不 同会导致采集的数据在光照、 分辨率、 姿态等参数上 产生较大差异， 这些差异将严重影响深度学习中行 人特征的空间分布。 [0007]3)基于注意力机制的行人重识别方法已经在有监督的行人重识别领域占据了领 先地位， 然而， 在无监 督行人重识别中， 仍然很难找到一种简单有效的注意力机制。 [0008]以上问题， 对于无监 督行人重识别来讲， 都是亟须解决的问题。 发明内容 [0009]为了解决以上问题， 本发明提出一种可区分相似行人的无监督行人重识别方法。 首先， 该方法采用一种基于参数传递的无监督双流对比学习来有效地描述集群内的相似性 和集群间的差异 性。 从具体实现的角度来讲， 该框架使用两个不同的存储器， 并且在初始 化 存储器时， 分别使用加权的聚类的最大特征和平均特征， 由此突出聚类的差异 性， 避免相似 特征行人的相互影响。 其次， 为了消除摄像机之间的风格差异对行人特征 空间分布的影响， 本发明提出了摄像机风格特征的概念即可代表摄像机差异带来的所有偏移影响的特征， 并 通过消除摄像机风格特征来增强行人特征聚类的准确 性。 并且， 本发明针对无监督行人重 识别缺少注意力机制这一现状， 构 造了一种基于可学习矩阵的简洁有效的无监督注意力机 制来提高行人重识别模型对行 人关键信息的关注度。 本发明提出的技 术方案如下： [0010]一种可区分相似行人的无监督行人重识别方法， 该方法首先使用基于参数传 递的 无监督双流对比学习来增强相似行人特征集群之间的差异性； 其次， 为了克服摄像机差异说　明　书 1/5 页 3 CN 115457597 A 3