(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211125206.8 (22)申请日 2022.09.16 (71)申请人 松立控股集团股份有限公司 地址 266000 山东省青岛市 市南区宁 夏路 288号软件园6号楼1 1层 (72)发明人 刘寒松　王永　王国强　刘瑞　 (74)专利代理 机构 青岛高晓专利事务所(普通 合伙) 37104 专利代理师 黄晓敏 (51)Int.Cl. G06V 20/54(2022.01) G06V 20/58(2022.01) G06V 10/25(2022.01) G06V 10/40(2022.01) G06V 10/764(2022.01)G06V 10/774(2022.01) G06V 10/80(2022.01) G06V 10/82(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 一种基于双向融合特征金字塔的端到端车 辆姿态估计方法 (57)摘要 本发明属于车辆姿态估计技术领域， 涉及一 种基于双向融合特征金字塔的端到端车辆姿态 估计方法， 通过双向跨尺度连接和加权特征融合 实现高效的特征提取， 再设计一种特征校对模 块， 在很大程度上克服了卷积特征与预测关键点 不一致的问题， 显著提高了方法的性能， 最后以 车辆关键点的最小外接矩形为边界框进行训练， 将目标检测的思路应用到车辆姿态估计中， 在缩 短检测时间的同时提高了 检测精度。 权利要求书1页 说明书5页 附图5页 CN 115223114 A 2022.10.21 CN 115223114 A 1.一种基于双向融合特征金字塔的端到端车辆姿态估计方法， 其特征在于， 具体包括 如下步骤： （1） 数据集构建： 选取开源数据集中的车辆图像， 并收集交通监控、 停车场现实场景中 含有多种车辆的图像， 构建车辆数据集， 并将车辆数据集划分为训练集、 验证集和测试集， 其中每个车辆上定义78个关键点， 并标注车辆的边界框与类别， 即车辆最小外 接矩形； （2） 主干网络特征提取： 先对图像的尺寸和数值范围行初始化处理， 再将处理后的图像 输入到ResNet ‑50主干网络中进行 卷积特征提取得到特征图； （3） 双向融合特征金字塔网络特征提取：  ResNet‑50主干网络后添加双向融合特征金 字塔网络， 将步骤 （2） 得到的特征图输入双向融合特征金字塔网络进一步提取特征， 得到多 尺度车辆卷积特 征图集合； （4） 生成车辆候选框： 根据步骤 （3） 得到的多尺度车辆卷积特征图集合， 使用车辆目标 检测框分支完成目标框类别分类和位置回归的任务生成车辆候选框， 其中分类为是否是车 辆， 位置信息为车牌的四个顶点 坐标； （5） 关键点检测： 将步骤 （3） 得到的多尺度车辆卷积特征图输入特征校对模块， 使用特 征校对模块使卷积特 征与预测关键点进行 校对， 输出关键点； （6） 输出结果： 对图像中的每一个车辆， 输出其在图像中的坐标， 通过后处理操作， 将步 骤 （5） 得到的关键点标注在原 始图像中。 2.根据权利要求1所述基于双向融合特征金字塔的端到端车辆姿态估计方法， 其特征 在于， 步骤 （5） 所述特征校对模块由对齐模块 和预测模块 组成， 设输入的特征图 ， 其中H为图像高度， W为图像宽度， 特征校对模块对特征图F进行处理， 其中对齐 模块包括进行 特征定位的定位器和进行 特征采样的采样器， 表示 为： 其中 ， 由定位器产生， 用于预测车辆第i个关键点的特征向量的采样位置； 是采样的特征向量， 设F上的一个关键点的位置为 （a,b） ， 则该位置被编码为相对于 （a,b） 的坐标； 然后预测模块 将对齐模块 的输出作为输入， 预测关键点的最终坐标， 预 测模块包含K个卷积层  ， K为一个车辆实例的关键点数量， 每个卷积层预测第i个关键点相 对于 采样位置的坐标， 即 ， 最后， 第i个的坐标为两组坐标之和， 为 ， 表示为： ， 最终的坐标根据特 征图的下采样比例调整， 得到关键点。权　利　要　求　书 1/1 页 2 CN 115223114 A 2一种基于双向融合 特征金字塔的端到端车辆姿态估计方 法 技术领域 [0001]本发明属于车辆姿态估计技术领域， 涉及 一种基于双向融合特征金字塔的端到端 车辆姿态估计方法。 背景技术 [0002]车辆姿态估计旨在从图像或视频中定位出车辆的关键点， 该任务可作为其他有关 车辆的计算机视觉任务的基础， 近年来， 姿态估计受到了越来越多的关注， 并被应用到各种 现实场景， 现有的基于深度学习的姿态估计方法克服了手工提取特征 的弊端， 具有强大 的 特征学习能力， 但是如遮挡、 训练数据不 足等仍制约 着方法检测精度的提升， 且复杂的网络 结构会导 致检测速度过慢。 [0003]车辆姿态估计方法分为自上而下和自下而上两种， 其中自上而下的车辆姿态估计 方法使用车辆目标检测器从输入 数据中获取一组边界框 （每个框对应一个车辆实例） ， 然后 对每个车辆的框应用单车辆姿态估计方法以获取多车辆姿态； 与自伤而下 的方法不同， 自 下而上的方法先定位所有的车辆关键点， 然后进行分组后处 理。 [0004]目前， 无锚框目标检测方法的发展为车辆姿态估计任务提供了一个新的思路， 将 车辆中的关键点视为目标， 利用目标检测的方法实现车辆姿态估计， 即车辆 关键点检测， 无 锚框检测方法性能优于以往基于锚框的检测方法， 该方法直接回归目标边界框的两个角关 键点， 而不使用预定义的锚框， 沿着无锚框目标检测方法的思路， 车辆姿态估计任务可将关 键点视为一个具有多个角的特殊边界框， 因此在目标检测网络中增加相关模块可以实现该 方案。 无锚框目标检测方法可以实现端到端的车辆姿态估计， 即直接将原始输入图像映射 到图像中车辆的关键点， 而且可以避免自上而下和自下而上方法的缺点， 既不需要复杂的 分组后处理， 也不需要提取感兴趣区域操作， 该方法将目标检测与关键点检测任务相统一， 即可以用相同的方法来 解决两个问题。 [0005]利用目标检测实现车辆姿态估计的方法看似简单， 实现却十分复杂， 对于常规的 目标检测任务， 从单一的特征向量可以回归到边界框的两个对角处的关键点， 但是车辆姿 态估计方法需要从单个特征向量来回归车辆中所有的关键点， 且需要 单个向量来精确地保 存关键点所有的信息， 比如关键点的精确坐标位置， 这给该方法设计带来挑战， 而且现有姿 态估计方法的检测时间较长， 检测时间与检测精度之间难以取得平衡， 因此， 针对现实驾驶 场景， 需要一种高效的车辆姿态估计方法。 发明内容 [0006]本发明的目的在于克服现有技术存在的缺点， 设计提供一种基于双向融合特征金 字塔的端到端车辆姿态估计方法， 用于实际车辆姿态估计任务中， 高效地检测车辆姿态。 [0007]为实现上述目的， 本发明建立了一个双向融合特征金字塔网络， 通过双向跨尺度 连接和加权特征融合实现高效的特征提取， 再设计一种 特征校对模块， 在很大程度上克服 了卷积特征与预测关键点不一致的问题， 显著提高了方法的性能， 最后以车辆关键点的最说　明　书 1/5 页 3 CN 115223114 A 3