(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210191105.4 (22)申请日 2022.02.27 (71)申请人 重庆长安汽车股份有限公司 地址 400020 重庆市江北区建新 东路260号 (72)发明人 张德泽　单玉梅　 (74)专利代理 机构 重庆博凯知识产权代理有限 公司 50212 专利代理师 李晓兵 (51)Int.Cl. G06V 10/44(2022.01) G06V 20/56(2022.01) G06T 7/73(2017.01) G06T 7/246(2017.01) (54)发明名称 基于区域与运动信息的路面图像特征匹配 方法及系统 (57)摘要 本发明公开了一种基于区域与运动信息的 路面图像特征匹配方法及系统， 匹配方法如下： 包括如下步骤： 步骤1， 数据输入， 输入车载相机 所拍摄的实时路面连续帧图像、 车辆当前运动信 息、 车载相机参数； 步骤2， 采用FAST角点检测算 法对输入的连续帧图像进行特征点分区检测； 步 骤3， 基于车载相机位置与图像信息对分区检测 后的路面特征点初筛， 确定所提取特征点位于 路 面； 步骤4， 基于车身运动信息和相机模 型对第一 帧路面特征点在第二帧中的位置进行预测； 步骤 5， 以步骤4中预测点的世界坐标为中心， 基于局 部图像信息与运动信息对连续帧特征点进行匹 配并输出配对信息 。 权利要求书2页 说明书5页 附图4页 CN 114549855 A 2022.05.27 CN 114549855 A 1.一种基于区域与运动信 息的路面图像特征匹配方法， 其特征在于， 它 包括如下步骤： 步骤1， 数据输入， 输入 车载相机所拍摄的实时路面连续帧图像、 车辆 当前运动信息、 车载相 机参数； 步骤2， 采用FAST角点检测算法对输入的连续帧图像进行特征点分区检测； 步骤3， 基于车载相机位置与图像信息对分区检测后的路面特征点初筛， 确定所提取特征点位于路 面； 步骤4， 基于车身运动信息和相机模型对第一帧路面特征点在第二帧中的位置进行预 测； 步骤5， 以步骤4中预测点的世界坐标为中心， 基于局部图像信息与运动信息对连续帧特 征点进行匹配并输出配对信息 。 2.根据权利要求1所述的基于区域与运动信 息的路面图像特征匹配方法， 其特征在于， 步骤1中， 车辆当前运动信息包括车辆自身速度 V与车辆当前角速度YawR ate； 车载相机参数 包括车载相机内参和车载相机外参， 所述车载相机内参的矩阵K包括相机的焦距、 主点以及 畸变系数， 车 载相机外参包括相机相对于世界坐标的相机 旋转矩阵Re0和平移向量tw。 3.根据权利要求1或2所述的基于区域与运动信 息的路面图像特征匹配方法， 其特征在 于， 步骤3中， 对路面特征点的初筛时， 设定图像宽度为W， 高度为H， 对于前视与后视相机， 特 征点提取区域 为 对于侧视相机， 其特 征点提取区域 为 4.根据权利要求3所述的基于区域与运动信 息的路面图像特征匹配方法， 其特征在于， 步骤4中， 对路面特征点位置预测的具体方法包括： 基于车载相机参数建立相机模型， 然后 将第一帧路面特征点像素坐标转换为世界坐标， 同时以第一帧图像中特征点为中心， d为边 长， 截取第一帧图像的局部图像作为待匹配图像， 并基于车身运动信息和相 机模型计算第 一帧图像特 征点在第二帧图像中的坐标位置 。 5.根据权利要求4所述的基于区域与运动信 息的路面图像特征匹配方法， 其特征在于， 建立相机模型时， 第一帧路面特征点的空间位置为Pi， Pi＝K[Re0tw]Pwi， 式中， K为相机内参 矩阵， Re0为相机旋转矩阵， tw为相机平移向量， 为相机安装位置到世界坐标原点的向量， 6.根据权利要求4所述的基于区域与运动信 息的路面图像特征匹配方法， 其特征在于， 根据相机模型计算出第一帧图像特征点的世界坐标： pwipre＝[xwi‑VCOS(YawRate·dt)dt, ywi‑V sin(YawRate ·dt)dt,zwi,1]； 式中， pwipre为第一帧图像特征点的世界坐标， V为车身 运动速度， dt为两帧之间的时间间隔， YawRate为车辆当前的旋转率； 在计算出第一帧图像 特征点的世界坐标后， 通过相机模型则可以反推处预测点在第二帧图像中的像素坐标 pipre， 7.根据权利要求6所述的基于区域与运动信 息的路面图像特征匹配方法， 其特征在于， 步骤5中， 特 征匹配方法如下： 1)以权利要 求6中预测点pipre为中心， r为半径建立搜索区域， 搜索在区域内的第二帧图 像特征点； 若区域内无特征点， 则本次匹配失败， 开始进 行下一次匹配； 若区域内存在n个特 征点， 则以这些特征点为中心， d为边长， 截取第二帧图像局部区域Rect21～Rect2n作为待匹 配图像；权　利　要　求　书 1/2 页 2 CN 114549855 A 22)计算Rect21～Rect2n与Rect1之间的绝对误差和SAD， 对于区域内第j个特征点， 1≤j ≤n， 计算方法为： ， 通过上述公式计算所有待匹配特征点的SAD， 选取SAD值最小的点 作为最终匹 配结果； 3)计算最终匹配点 与预测点pipre的像素距离， 计算方法为： ， 若计算得到的像素距离大于阈值T， 则表明其不满足路面特征点运动条件， 将该组特 征点对抛 弃。 8.一种基于区域与运动信 息的路面图像特征匹配系统， 其特征在于， 包括车载相机、 图 像特征点检测模块、 位置预测模块以及特征匹配模块， 所述特征点检测模块与车载相 机和 车机控制器通讯连接， 并用于提取车载相机的连续帧图像特征点和车载相机参数以及车机 控制器中车辆当前运动信息， 同时， 对提取 的连续帧图像特征点进行检测并返回其像素位 置； 所述位置预测模块与图像特征点检测模块通讯连接， 用于根据车辆运动状态与车载相 机外参预测路面特征点在下一帧中的位置； 特征匹配模块基于局部图像信息与运动信息对 连续帧特 征点进行匹配并输出配对信息 。 9.根据权利要求8所述的基于区域与运动信 息的路面图像特征匹配系统， 其特征在于， 还包括一路面特征点初筛模块， 所述路面特征点初筛模块与图像特征点检测模块双向通讯 连接， 用于对分区检测 后的路面特征点初筛， 确定所提取特征点位于路面， 并将初筛信息反 馈到图像特 征点检测模块。权　利　要　求　书 2/2 页 3 CN 114549855 A 3