(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210155275.7 (22)申请日 2022.02.21 (71)申请人 北京航空航天大 学 地址 100191 北京市海淀区学院路37号 (72)发明人 程景春　宋佳洁　金靖　潘雄　 宋凝芳　任可君　 (74)专利代理 机构 北京天汇航智知识产权代理 事务所(普通 合伙) 11987 专利代理师 史继颖 (51)Int.Cl. G06V 20/58(2022.01) G06V 10/774(2022.01) G06V 10/44(2022.01) G06K 9/62(2022.01) G06N 3/04(2006.01) (54)发明名称 一种基于全景视图的任意角度车位检测方 法 (57)摘要 本发明公开了一种基于全景视图的任意角 度车位检测方法， 将车身四周装载的4个鱼眼摄 像头拍摄的图片拼接而成的AV M全景视图输入至 高精度轻量级小目标检测网络完成对图像整体 的特征提取； 输入车位角点检测器， 获得以车位 角点为中心的检测框， 将检测框的特征信息送入 下一级的关键点检测器， 完成三类角点检测； 获 取车位入口角度的坐标与方向信息， 通过车位几 何信息计算得到车位后两个坐标， 还原整个车 位。 本发明的方法具有更强的鲁棒性， 更快的实 时性， 能够实现任意种类， 任意角度的车位识别， 为把车位检测技 术部署到智能驾驶上提供基础。 权利要求书2页 说明书5页 附图5页 CN 114758318 A 2022.07.15 CN 114758318 A 1.一种基于全景视图的任意角度车位检测方法， 在车身周围安装鱼眼摄像头， 其特征 在于， 包括以下步骤： S1： 获取环车图像； S2： 提取关键点信息， 以获取 车位前两个角点 坐标、 车位夹角及朝向信息； S3： 定位车位 位置。 2.根据权利要求1所述的检测方法， 其特 征在于， 所述 步骤S1的具体过程 为： S1‑1： 通过车身的前、 后、 左、 右安装的广角鱼眼摄 像头， 获取 可见光图像； S1‑2： 运用鱼眼摄 像头矫正模型对可 见光图像进行去畸变校正； S1‑3： 对步骤S1 ‑2处理后的图像进行逆透视变化， 将图像变换到世界坐标系同一平面 上， 即变为鸟瞰图； S1‑4： 利用相邻两帧图像间的公共叠加部分， 通过Levenberg ‑Marquard非线性优化算 法确定最优拼接方向， 沿缝隙将图像拼接成围绕车身的3 60°的环车图像。 3.根据权利要求1或2所述的检测方法， 其特 征在于， 所述 步骤S2的具体过程 为： S2‑1： 将步骤S1得到的环车图像输入特 征网络中进行 特征提取； 以开源卷积神经网络作为网络骨架， 在ImageNet图像数据上预训练得到基础网络， 在 此基准上， 搭建特 征金字塔SPP和路径聚合模块PANet， 多尺度提取网络特 征信息； S2‑2： 将步骤S2 ‑1中得到的网络特征信息输入角点目标检测器， 通过两层卷积网络预 测角点所在位置的检测框， 经IoU损失函数的训练、 迭代收敛， 使角点目标检测 器能够基于 网络特征信息预测以角点为中心的检测框的位置信息， 包括角点中心坐标及检测框的长和 宽， 由于环车图像只得到整个车位与行驶车辆最近的两个角点的图像信息， 因而角点 目标 检测器只能检测出这两个点的位置信息， 记这两个角点 为车位入口角点P1,P2； S2‑3： 计算相邻两个角点P1,P2之间的距离 差值： 如果距离差值小于3m， 则车位属于垂直型车位或者倾斜式车位； 如果距离差值大于5m， 则车位属于平行式车位； 舍去距离 差值既不满足小于 3m， 也不满足大与5m的角点； S2‑4： 定义三类关键点； 首先， 定义直线为横贯整个检测框的车位线， 与框体有两个交点； 射线为起始点位于检 测框内部， 与检测框只有一个交点； 三种关键点分别为： 直线交叉点： 检测框中直线与射线的交点即射线的起 点； 射线交叉点： 检测框中两条射线的交叉点； 与检测框边 缘相交的边 缘点： 直线或射线与检测框边 缘相交的交叉点； S2‑5： 将步骤S2 ‑2得到的角点位置信息， 对应至步骤S2 ‑1中的网络特征信息， 提取以角 点为中心的检测框所对应的角点特征信息， 输入根据步骤S2 ‑4中的三类 关键点构建的关键 点检测器， 得到对应三类关键点的类别 信息和位置坐标； S2‑6： 将检测到的直线交叉点或射线交叉点同与检测框边缘相交的边缘点连线， 计算 其夹角， 舍去无法进行车位还原的点， 得到车位夹角α及朝向信息， 若α不在90 ° ±15°范围 内， 则车位 为倾斜车位； 其中， 每个车位均包括四个角点， 在环车图像中可见的为车位入口角点P1,P2， 车辆未驶 入车位时在环车图像中不 可见的车位后部角点P3,P4， 每个车位均由其四个角点构成的线段权　利　要　求　书 1/2 页 2 CN 114758318 A 2P1P2、 P2P3、 P3P4、 P4P1组成， 车位夹角 α 为车位角点P1P2和P2P3构成线段的夹角， 车位朝向信 息 由构成此 车位的直线或射线延展方向确定 。 4.根据权利要求3所述的检测方法， 其特 征在于， 所述 步骤S3的具体过程 为： 通过步骤S2 ‑2得到车位入口两个角点P1,P2的坐标、 步骤S2 ‑5获得车位夹角α和角点的 朝向信息、 步骤S2 ‑3及步骤S2 ‑6判断得到车位类型， 设车位深度信息di已知， 根据车位 几何 关系， 还原出 车位后部角点P3,P4的坐标信息： 其中， (xi,yi)为环车图像中， 以中心点为坐标轴原点， 车位的四个角点的位置坐标， i＝ 1,2,3,4； 得到每个车位的四个角点信息后， 即能够定位车位的所有位置及朝向信息， 为车位轨 迹规划、 姿态控制提供技 术基础。 5.根据权利要求3所述的检测方法， 其特征在于， 所述步骤S2 ‑5中的关键点检测器为由 两层卷积层构成的分类网络， 输入为角点特征信息， 输出为三类关键点的类别信息和位置 坐标， 训练采用车位图像和人工标注的角点类型， 损失函数采用分类回归损失。权　利　要　求　书 2/2 页 3 CN 114758318 A 3