(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210702514.6 (22)申请日 2022.06.21 (71)申请人 佛山仙湖实验室 地址 528200 广东省佛山市南海区丹灶镇 仙湖度假区阳光路3号仙湖湾商业广 场C座内C1号办公室 (72)发明人 颜伏伍　陈永祥　尹智帅　秦国钰　 杨谢添　 (74)专利代理 机构 广州嘉权专利商标事务所有 限公司 4 4205 专利代理师 刘力 (51)Int.Cl. G06V 20/56(2022.01) B60Q 9/00(2006.01) B60W 40/02(2006.01)B60W 40/06(2012.01) B60W 50/14(2020.01) G06N 3/04(2006.01) G06N 3/08(2006.01) G06V 10/10(2022.01) G06V 10/26(2022.01) G06V 10/44(2022.01) G06V 10/80(2022.01) G06V 10/82(2022.01) (54)发明名称 基于单目相机的车道偏离预警方法、 系统、 设备及介质 (57)摘要 本发明公开了一种基于单目相机的车道偏 离预警方法、 系统、 设备及介质， 其中所述方法包 括： 利用单目相机采集车辆前方的道路场景图 像； 利用训练好的轻量级卷积神经网络对道路场 景图像进行像素分割， 得到车辆可行驶区域图 像， 其中轻量级卷积神经网络包括若干个由逐点 卷积层和金字塔膨胀卷积层所组成的深层卷积 模块和二维卷积模块； 利用Canny边缘检测算法 从车辆可行驶区域图像中提取出边缘图像， 再将 边缘图像进行逆透视变换得到鸟瞰图； 根据鸟瞰 图获取车辆与其所在道路之间的最小距离， 且在 最小距离低于预设距离阈值时， 控制车辆报警器 对驾驶员进行车辆偏离告警。 本发 明通过搭建轻 量级卷积神经网络可以提高图像处理的实时性， 确保预警精度。 权利要求书2页 说明书6页 附图2页 CN 115240150 A 2022.10.25 CN 115240150 A 1.一种基于单目相机的车道偏离预警方法， 其特 征在于， 所述方法包括： 利用单目相机采集车辆前 方的道路场景图像； 利用训练好的轻量级卷积神经网络对所述道路场景图像进行像素分割， 得到车辆可行 驶区域图像， 其中所述轻量级 卷积神经网络包括若干个由逐点卷积层和金字塔膨胀卷积层 所组成的深层卷积模块和二维卷积模块； 利用Canny边缘检测算法从所述车辆可行驶区域图像中提取出边缘图像， 再将所述边 缘图像进行逆透 视变换， 得到鸟瞰图； 根据所述鸟瞰图获取车辆与其所在道路之间的最小距离， 且在所述最小距离低于预设 距离阈值时， 控制车辆报警器对驾驶员进行 车辆偏离告警。 2.根据权利要求1所述的基于单目相机的车道偏离预警方法， 其特征在于， 每一个深层 卷积模块的处 理过程包括： 基于逐点卷积层设置有d个维度为1 ×1×M的卷积核， 利用逐点卷积层将输入图像的特 征维度从M维降低至d维， 得到中间图像； 基于金字塔膨胀卷积层设置有K个不同膨胀率的卷积核， 利用金字塔膨胀卷积层从中 间图像中提取出K个不同尺寸区域所对应的特征图像， 进而通过拼接融合方式得到输出图 像。 3.根据权利要求2所述的基于单目相机的车道偏离预警方法， 其特征在于， 所述利用训 练好的轻量级 卷积神经网络对所述道路场景图像进行像素分割， 得到车辆可行驶区域图像 包括： 利用所述若干个深层卷积模块对所述道路场景图像进行深层特征提取后， 再利用所述 二维卷积模块对提取得到的深层特征图像进 行卷积运算， 得到所述道路场景图像所对应的 车辆可行驶区域图像。 4.根据权利要求1所述的基于单目相机的车道偏离预警方法， 其特征在于， 所述将边缘 图像进行逆透 视变换， 得到鸟瞰图包括： 将所述边缘图像中的每一个像素点均与通过预先试验得到的变换矩阵进行相乘， 得到 鸟瞰图。 5.根据权利要求1所述的基于单目相机的车道偏离预警方法， 其特征在于， 所述根据鸟 瞰图获取 车辆与其所在道路 之间的最小距离包括： 从所述鸟瞰图中提取出车辆左侧与车辆所在道路左侧边缘线之间在直线水平方向上 的像素点个数， 再将该像素点个数与通过预先试验得到的横向比例尺进行相乘， 得到第一 距离； 从所述鸟瞰图中提取出车辆右侧与车辆所在道路右侧边缘线之间在直线水平方向上 的像素点个数， 再将该像素点个数与所述横向比例尺进行相乘， 得到第二距离； 从所述第一距离和所述第二距离中提取出最小值并作为车辆与其所在道路之间的最 小距离。 6.根据权利要求1所述的基于单目相机的车道偏离预警方法， 其特征在于， 所述轻量级 卷积神经网络是通过预先获取的区域分割数据集进行训练的， 其中所述区域分割数据集包 括Cityscapes数据集和PASCAL  VOC 2012数据集。 7.一种基于单目相机的车道偏离预警系统， 其特 征在于， 所述系统包括：权　利　要　求　书 1/2 页 2 CN 115240150 A 2图像采集模块， 用于利用单目相机采集车辆前 方的道路场景图像； 图像区域分割 模块， 用于利用训练好的轻量级卷积神经网络对所述道路场景图像进行 像素分割， 得到车辆可行驶区域图像， 其中所述轻量级卷积神经网络包括若干个由逐点卷 积层和金字塔膨胀卷积层组成的深层卷积模块和二维卷积模块； 图像转换模块， 用于利用Canny边缘检测算法从所述车辆可行驶区域 图像中提取出边 缘图像， 再将所述 边缘图像进行逆透 视变换， 得到鸟瞰图； 预警检测模块， 用于根据所述鸟瞰图获取车辆与其所在道路之间的最小距离， 且在所 述最小距离低于预设距离阈值时， 控制车辆报警器对驾驶员进行 车辆偏离告警。 8.一种计算机设备， 其特 征在于， 包括： 一个或多个处 理器； 存储器； 一个或多个应用程序， 其中所述一个或多个应用程序被存储在所述存储器中并被配置 为由所述一个或多个处理器执行， 所述一个或多个应用程序配置用于执行如权利要求 1至6 中任意一项所述的基于单目相机的车道偏离预警方法。 9.一种计算机可读存储介质， 其上存储有计算机程序， 其特征在于， 所述计算机程序被 处理器执行时实现如权利要求1至 6中任意一项所述的基于单目相机的车道偏离预警方法。权　利　要　求　书 2/2 页 3 CN 115240150 A 3