(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210873517.6 (22)申请日 2022.07.22 (71)申请人 厦门理工学院 地址 361021 福建省厦门市集美区后溪镇 理工路600号 (72)发明人 王大寒　吴芸　连加未　周伟　 朱顺痣　 (74)专利代理 机构 福州元创专利商标代理有限 公司 35100 专利代理师 郭东亮　蔡学俊 (51)Int.Cl. G06V 20/54(2022.01) G06V 10/44(2022.01) G06V 10/764(2022.01) G06V 10/82(2022.01)G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 一种基于多分支增强型判别特征提取的车 辆重识别方法 (57)摘要 本发明提出一种基于多分支增强型判别特 征提取的车辆重识别方法， 包括以下步骤； 步骤 S1、 选取车辆重识别网络模型的骨干网络， 定义 网络优化器和训练参数， 初始化待训练模型； 步 骤S2、 整合训练数据集并增扩数据集； 步骤S3、 进 行模型训练； 步骤S4、 全局分支 计算全局损失； 步 骤S5、 水平分支把全局特征图沿宽度切分成四个 大小相同不重叠的子特征图， 并且把子特征图分 别输入到损失模块计算局部损失； 步骤S6、 竖直 分支计算局部损失； 步骤S7、 根据步骤S3 ‑S6的损 失进行反向传播， 调整网络的参数； 步骤S8、 重复 步骤S2‑S7直到达到网络训练设置的最大次数； 步骤S9、 保存分类精度最高的模型参数； 本发明 不需要人工标注标签及特定的数据集就可以达 到较好的识别效果。 权利要求书3页 说明书6页 附图2页 CN 115223111 A 2022.10.21 CN 115223111 A 1.一种基于多分支增强型判别特征提取的车辆重识别方法， 用于以车辆外观来检索查 找图像源中的相似车辆， 其特 征在于： 包括以下步骤； 步骤S1、 选取用于行人重识别的网络作为待训练的车辆重识别网络模型的骨干网络， 定义用于模型训练的网络优化器和训练参数， 初始化待训练模型； 步骤S2、 把用于车辆重识别网络模型训练的车辆图片整合为训练数据集， 并通过对图 片的变换处 理来增扩数据集； 步骤S3、 进行车辆重识别网络模型训练， 输入数据集图片进入共享卷积层， 通过共享卷 积层提取输入图片的高层全局特征信息以减少重复计算量， 然后把得到的特征分别输入到 全局分支， 水平分支， 竖直分支进行处 理； 步骤S4、 全局分支将提取全局特 征和全局注意力特 征输入到损失模块计算全局损失； 步骤S5、 水平分支把全局特征图沿宽度切分成四个大小相同不重叠的子特征图， 并且 把子特征图分别输入到损失模块计算局部损失； 步骤S6、 竖直分支把全局特征图沿通道维度切分成四个大小相同不重叠的子特征图， 并且把子特 征图分别输入到损失模块计算局部损失； 步骤S7、 根据步骤S3 至步骤S6的损失进行反向传播， 调整车辆 重识别网络的参数； 步骤S8、 重复步骤S2至步骤S7直到 达到网络训练设置的最大次数； 步骤S9、 保存分类精度最高的模型参数， 用于从图像源提供的车辆图片中检索与目标 车辆最相似的车辆 。 2.根据权利要求1所述的一种基于多分支增强型判别特征提取的车辆重识别方法， 其 特征在于： 步骤S1 的骨干网络， 为加载ImageNet预训练模型的网络OSNet， 网络优化器选择 使用Adam并且打开自适应梯度算法Am sgrad设置； 初始化待训练模型时， 初始参数第一次估计的指数衰减率beta1设置为0.9， 初始第二 次估计的指数衰减率beta2设置为0.999， 初始epsilon设置为1x10 ‑8以防止有任何数字被0 划分； 初始配置参数设置 中， 最大训练次数设置为130， 初始学习率为6x10‑4， 输入模型的图 片大小固定为了25 6x256。 3.根据权利要求1所述的一种基于多分支增强型判别特征提取的车辆重识别方法， 其 特征在于： 步骤S2中， 对训练数据集通过如下 处理来增扩： 把输入图片长和宽增加105％， 随 机裁剪出原长宽大小的图片， 把图片随机水平翻转， 在图片 中随机遮挡掉一小块区域像素 值， 把图片标准化和平均化处理； 关于训练数据集的验证数据进 行以下处理： 把输入图片 长 宽修改为给定的标准长 宽， 把图片标准 化和平均化处 理。 4.根据权利要求1所述的一种基于多分支增强型判别特征提取的车辆重识别方法， 其 特征在于： 步骤S 3中， 具体包括以下步骤： 输入到网络模型的图片， 首先进入共享卷积层， 该 共享卷积层模块由ResNet50前三层构成F(i)， 当输入图片xi通过共享层得到特征Ai， Ai＝F (xi)。 5.根据权利要求1所述的一种基于多分支增强型判别特征提取的车辆重识别方法， 其 特征在于： 步骤S4中， 具体包括以下步骤： 特征Ai进入全局分支模块的全局特征提取器 Fglobal(Ai)， 和全局注意力特征提取器Fdrop(Ai)， 并且全局分支模块采用OSNet后两层作为特 征提取层， 通过两个提取器得到的特征分别进入平均池化(Avgpool)和最大池化(Maxpool) 获得512维度特征图G、 Gdrop； 全局分支得到的G、 Gdrop特征分别 进入批次归一化(BN)层， 得到权　利　要　求　书 1/3 页 2 CN 115223111 A 2的结果分别进入损失模块计算损失值。 6.根据权利要求1所述的一种基于多分支增强型判别特征提取的车辆重识别方法， 其 特征在于： 步骤S5中， 具体包括以下步骤： 特征Ai进入水平分支模块Fh(Ai)， 首先使用最大池 化(Maxpool)获取整个水平模块512维度的最大特征hg， 再将整个特征图切分成相等通道数 的四组子特 征图并使用平均池化(Avgpo ol)分别提取四个子图上的平均特 征h0， h1， h2， h3； 子特征h0， h1， h2， h3分别进入1X1大小的卷积核修改维度空间得到512维度的特征向量， 再依次进入批次归一 化BN层， 归一 化后的结果分别进入损失模块计算损失值。 7.根据权利要求1所述的一种基于多分支增强型判别特征提取的车辆重识别方法， 其 特征在于： 步骤S 6中， 具体包括以下步骤： 具体包括以下步骤： 特征进入竖直分支模块， 把得 到的向量 通过平均池化(Avgpo ol)切分成四组长度为128维度的特 征向量v0， v1， v2， v3； 子特征v0， v1， v2， v3使用1X1大小的卷积核修改空间维度得到512维度的向量， 其卷积参 数共享； 再依次进入批次归一化BN层， 归一化后的结果分别进入损失模块计算损失值。 所述 步骤批次归一化BN层， 具体包括以下步骤： 把输入的特征 向量归一化处理nn.BatchNorm1d (dim＝512)， 增强数据的稳定性。 把归一化后的特征向量输入到全 连接层nn.Linear(dim＝ 512,num_clas sess)进行分类。 8.根据权利要求1所述的一种基于多分支增强型判别特征提取的车辆重识别方法， 其 特征在于： 步骤S7中， 具体包括以下步骤： 使用交叉熵损失CE计算分类损失值， 把批次归一 化后得到的特征向量全部进入交叉熵损失计算损失值， 把交叉熵损失定义为Lce， 具体的损 失函数公式如下： 这里pi是模型分类的预测概 率， yi是真实标签。 使用三元组损失(Triplet  loss)对特征进行度量学习， 使目标对象可以拉进正样本 position间的距离， 而缩小负样本negative 间的距离； 以批次归一化之前的特征向量hg， G， Gdrop进入到三元组损失中进行计算损失值， 把 三元组损失定义 为Ltri， 具体的公式如下： 公式中的n是一个批次个数， 代表当前目标的特征向量， 代表距离当前 anchor的正样本 的特征向量， 代表距离当前anchor的负样本 的特征向量， 代表 L2范数归一化计算距离， α 值初始设置为0.7； 为了平衡交叉熵损失和三元组损失的损失值， 将两个损失函数的系数设置为0.5， 最后 得到的最损失值用于更新整个模型梯度， 具体公式如下： L＝0.5*Lce+0.5*Ltri      公式三。 9.根据权利要求1所述的一种基于多分支增强型判别特征提取的车辆重识别方法， 其 特征在于： 步骤S9中， 把目标车辆的图片通过数据变换得到四维向量输入模型， 全局分支得 到特征向量G， Gdrop水平分支得到特征向量Hg； 将得到的三个特征向量进行拼接到一起， 拉伸 验证向量的维度： co ncat(G， Gdrop,Hg)， concat为拼接操作； 将得到的目标车辆的图片的特征向量， 用于与待检索的图像源车辆图片向量计算相似权　利　要　求　书 2/3 页 3 CN 115223111 A 3