(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 20221074131 1.8 (22)申请日 2022.06.28 (71)申请人 合肥市正茂科技有限公司 地址 230088 安徽省合肥市高新区科 学大 道92号 (72)发明人 吕强　王雪雁　吕建春　胡昌隆　 周平　刘晓静　 (74)专利代理 机构 合肥天明专利事务所(普通 合伙) 34115 专利代理师 娄岳 (51)Int.Cl. G06V 20/52(2022.01) G06V 10/32(2022.01) G06V 10/44(2022.01) G06V 10/764(2022.01)G06V 10/82(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01) G06F 16/75(2019.01) G06F 16/783(2019.01) (54)发明名称 一种基于双层注意力网络的货车图片重识 别方法 (57)摘要 本发明公开了一种基于双层注意力网络的 货车图片重识别方法， 包括获取货车图片， 并对 货车图片进行标准化， 构建货车图片 的训练集； 基于双层注意力网络对训练集中货车图片进行 提取， 得到货车图片的图像特征； 再根据所述训 练集的训练图片对构建的重识别网络模型进行 训练后， 再利用得到的 图像特征输入损失函数进 行校准； 将训练集中的测试图片输入训练完成的 重识别网络模 型进行测试， 判断两张货车图片中 货车是否属于同一物体， 得到最终检测结果。 本 发明通过构建重识别网络模型， 将货车图片中的 细粒度信息和全局信息进行匹配， 获得图片中货 车特征， 达到更好的货车图片重识别功能。 权利要求书2页 说明书7页 附图4页 CN 115035476 A 2022.09.09 CN 115035476 A 1.一种基于双 层注意力网络的货车图片重识别方法， 其特 征在于， 包括： 步骤S1： 获取货车图片， 并对货车图片进行 标准化， 构建货车图片的训练集； 步骤S2： 基于双层注意力网络对训练集中货车图片进行提取， 得到货车图片的图像特 征； 步骤S3： 再根据所述训练集的训练图片对构建的重识别网络模型进行训练后， 再利用 得到的图像特 征输入损失函数进行 校准； 步骤S4： 将训练集中的测试图片输入训练完成的重识别网络模型进行测试， 得到最终 的重识别网络模型； 步骤S5： 将多张待检索货车图片输入最终的重识别网络模型， 判断待检索货车图片中 的货车是否属于目标货车。 2.根据权利要求1所述一种基于双层注意力网络的货车图片重识别方法， 其特征在于， 所述对货车图片进行 标准化的具体步骤 包括： 根据设定的预设像素均值和像素标准差， 对训练集中的货车图片进行像素层面的标准 化； 再将训练集中所有的货车图片进行缩放， 保持所有的货车图片大小一 致； 再对训练集中所有的货车图片进行数据增强操作， 所述数据增强操作包括图片亮度与 饱和度的随机改变、 图片的随机水平翻转， 以及图片的随机 裁剪。 3.根据权利要求1所述一种基于双层注意力网络的货车图片重识别方法， 其特征在于， 所述步骤S2中的具体步骤 包括： 将货车图片依次送入构建的双层注意力网络的第 一层、 第二层、 第三层， 以及第四层提 取图像特征， 图像特征进入瓶颈块后经过1 ×1卷积， 然后再按通道数平分为4个特征图子 集， 除第一个子集直接保留原先特征输出， 第一层、 第二层和第三层的其他子集分别进行3 ×3卷积， 再使用残差的方式连接这四个特征图子集， 第四层的其他子集分别使用双层注 意 力模块提取全局特 征， 最后将这些 特征图子集 通过1×1卷积融合； 所述第一层、 第二层、 第三层， 以及第四层提取图像特 征的过程公式为： 其中， s表示特征图子集数， xi表示每个被均匀平分 的特征图子集， i∈{1,2,...,s}， Ki ()表示对应xi的提取操作； 使用Res2Net网络作为货车图片的基础特征提取网络， 其中Res2Net网络包括 Res2Net5 0和Res2Net101。 4.根据权利要求3所述一种基于双层注意力网络的货车图片重识别方法， 其特征在于， 所述构建的双 层注意力网络的具体步骤 包括： 首先使用通道自注意力和空间自注意力分别提取 特征图的全局信息： 其中， Q是输入， 上 下文以键值对(K， V)的形式存 储在内存中， dk是K的维度；权　利　要　求　书 1/2 页 2 CN 115035476 A 2进而在位置自注意力中引入相对位置编码， 所述相对位置编码使用注意力提取有效的 空间位置信息； 最后将相对位置编码得到的有效空间信息与空间自注意力中的V进行异或运算， 得到 位置信息与内容信息的融合。 5.根据权利要求4所述一种基于双层注意力网络的货车图片重识别方法， 其特征在于， 所述相对位置编码使用注意力提取有效的空间位置信息的具体步骤 包括： 首先分别获得货车图片的高度和宽度方向的特征表示， 然后将高度和宽度方向的特征 表示两个分支进行融合输出； 再根据通道维度对融合输出的结果进行平均， 重新校准不同分支 的当前重要性， 达到 使用分散注意力对 全局信息进行编码， 得到有效的空间位置信息 。 6.根据权利要求1所述一种基于双层注意力网络的货车图片重识别方法， 其特征在于， 所述利用得到的图像特 征输入损失函数进行 校准的具体步骤 包括： 将训练集按批量送入双层注意力网络提取图像特征后， 对得到的图像特征计算损失函 数校准重识别网络模型； 所述损失函数为： L＝LID+LTriplet+β LC； 其中， LID表示交叉熵损失函数， 用来对货车图片按预测 值进行目标分类， LTri表示三元 组损失函数， 用以增大目标货车和负样本图片之间的特征距离， 减小目标货车和正样本图 片的特征距离， LC表示中心损失函数， 学习了每个类的特征中心， 用以弥补三元组损失只关 心正样本和负样本距离相差结果的缺点， L为总损失， 三种损失函数的加权和， β 是中心损失 的平衡权 重。 7.根据权利要求1所述一种基于双层注意力网络的货车图片重识别方法， 其特征在于， 所述步骤S4和步骤S5的具体步骤 包括： 获取训练集中的测试图片输入已训练完成的重识别网络模型进行测试； 根据测试 得到的特 征图的图像特 征进行比较相似度， 得到最优的重识别网络模型； 再将待检索的货车图片输入重识别网络模型， 判断待检索的货车图片中的货车是否为 目标货车， 并将判断检测结果进行分类后对应保存。权　利　要　求　书 2/2 页 3 CN 115035476 A 3