(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210389310.1 (22)申请日 2022.04.14 (71)申请人 深圳季连科技有限公司 地址 518000 广东省深圳市南 山区粤海街 道海珠社区海德三道15号海岸大厦东 座1403A-3002 (72)发明人 熊常春　李海良　王敬贵　李国元　 刘昂　吴江川　张富耕　 (51)Int.Cl. G06V 20/40(2022.01) G06V 20/56(2022.01) G06V 10/82(2022.01) G06V 10/774(2022.01) G06V 10/764(2022.01) G06V 10/44(2022.01) G06T 7/246(2017.01)G06N 3/04(2006.01) H04L 67/12(2022.01) (54)发明名称 一种车联网的路面摄 像分析方法 (57)摘要 本申请提供一种车联网的路面摄像分析方 法， 包括： 车联网获取路况和路面图像； 车辆 上的 图像处理单元分析统计 路面细节坑洼， 所述车辆 上的图像处理单元分析统计 路面细节坑洼， 具体 包括： 车前摄像头视频采集和预处理， 图像3D卷 积神经网络模 型提取特征向量， 图像特征分类和 训练模型， 路面坑洼图像的识别； 利用透明引擎 车盖监控车底， 所述透明引擎车盖为贴敷于汽车 引擎车盖上的柔性透明OLED显示屏； 车辆对路面 坑洼进行播报分享； 车底污渍分析； 车辆清理提 醒与显示屏调整， 所述车辆清理提醒与显示屏调 整， 具体包括： 污渍判断与清理提醒， 柔性透明 OLED显示屏的亮度和对比度调整； 根据车联网分 享与摄像头清理次数关联； 车联网分享路面坑洼 信息。 权利要求书3页 说明书7页 附图1页 CN 114913449 A 2022.08.16 CN 114913449 A 1.一种车联网的路面摄像分析方法， 其特征在于， 所述方法包括： 车联网获取路况和路 面图像； 车辆上 的图像处理单元分析统计路面细节坑洼， 所述车辆上 的图像处理单元分析 统计路面细节坑 洼， 具体包括： 车前摄像头视频采集和预 处理， 图像3D卷积神经网络模型提 取特征向量， 图像特征分类和训练模型， 路面坑洼图像的识别； 利用透明引擎车盖监控车 底， 所述透明引擎车盖为贴敷于汽车引擎车盖上的柔性透明OLED显示屏； 车辆对路面坑洼 进行播报分享； 车底污渍 分析； 车辆清理提醒与显示屏调整， 所述车辆清理提醒与显示屏调 整， 具体包括： 污渍判断与清理提醒， 柔性透明OLED显示屏的亮度和对比度调整； 根据车联 网分享与摄 像头清理次数关联； 车 联网分享路面 坑洼信息 。 2.根据权利要求1所述的方法， 其中， 所述车联网获取路况和路面图像， 包括:  车联网 使用图像采集单元获取路况和路面图像， 图像处理单元分析统计路面细节坑洼， 显示单元 用于透明引擎盖监控车底， 报警单元用于车辆对路面坑洼进行播报分享， 维护单元对车底 污渍进行分析， 处理器用于车辆清理提醒与显示屏调整， 和传输单元用于车联网分享路面 坑洼信息； 其图像采集单元将获取 的图像传递给图像处理单元， 显示单元获取 的路面监控 图像发送给图像采集单元， 报警单元用于图像分析后对识别出的路面坑洼位置进行播报， 维护单元是通过图像处理单元识别的污渍位置， 处理器通过获取维护单元的信息向车主发 送清理提醒并获取显示单元的图像向车主进 行显示； 对路况路面的分析主要 是摄像机对车 前路况驾驶员视觉盲区进行分析； 摄像机位于车辆的前端拍摄车前盲区的影像， 将拍摄的 图像在透明引擎盖上进行显示， 让驾驶员能看到视线盲区的路况， 提高车辆在城市非主干 道、 施工路段、 乡村街道结构化程度低的道路中驾驶的安全性； 通过车联网服务平台获得车 辆当前位置的实时路况信息， 特别是异常路况。 3.根据权利要求1所述的方法， 其中， 所述车辆上的图像处理单元分析统计路面细节坑 洼， 包括:  在晴天日晒、 阴雨绵绵、 尘霾漫天或夜路无光时， 车前摄像机获取的路面坑洼图 像都会不同， 需要对车前摄像机采集视频中各种图像进行分类， 使处理器判断车辆所处的 路面状况并作后续反应； 包括： 车前摄像头视频采集和预 处理； 图像3D卷积神经网络模型提 取特征向量； 图像特征分类和训练模型； 路面坑 洼图像的识别； 所述车前摄像头视频采集和 预处理， 具体包括： 预先利用车前摄像头拍摄采集不同环境下路面坑 洼的视频， 对预先拍摄 的视频进行预处理， 得到预处理后的视频帧图像集， 将预处理后的视频帧图像集中的不同 环境下的路面坑洼类型进行标定， 得到训练集； 所述图像3D卷积神经网络模型提取特征向 量， 具体包括： 设计待训练的3D卷积神经网络模 型， 并将卷积 计算后得到的矩阵转化为 1行n 列的特征向量， 将 每一次卷积 计算得到的特征向量作为训练集输入到待训练的3D卷积神经 网络模型中进行训练， 得到训练后的3D卷积神经网络模型， 并利用训练后的3D卷积神经网 络模型学习训练集中路面坑洼类型； 所述图像特征分类和训练模型， 具体包括： 将训练集中 路面坑洼类型所对应的特征向量输入到线性分类器中进行训练， 得到训练后的线性分类 器； 同时抽取训练集和测试集， 再辅以人工矫正， 进行迭代训练， 得到最终的3D卷积神经网 络； 其中线性分类器， 有softmax函数， 将预测结果输入softmax函数， 进行非负性和 归一化 处理， 最后得到 分类概率， 让之后对各个类型的路面坑 洼进行分类； 所述路面坑洼图像的识 别， 具体包括： 将采集到的图像经过预处理后输入到训练后的3D卷积神经网络模型中提取 特征向量， 并将特征向量输入到训练后的线性分类器中进行分类， 得到画面中能完整包含 凹陷、 积水、 泥泞、 沟壑路面 坑洼的图像。权　利　要　求　书 1/3 页 2 CN 114913449 A 24.根据权利要求1所述的方法， 其中， 所述利用透明引擎车盖监控车底， 所述透明引擎 车盖为贴敷于汽 车引擎车盖上的柔性透明OLED 显示屏， 包括:  透明引擎盖即在车引擎盖上 贴敷柔性透明OLED显示屏； 当车联网服务平台提醒车辆经过路段路况异常时， 开启车前摄 像机， 获取当前路面图像信息， 车前摄像头图像采集模块将当前图像传送到处理器， 处理器 进行判断； 若判断是坑 洼路段则 在柔性透明OLED 显示屏上显示路面坑 洼时的车前盲区路面 影像， 若不是坑 洼路段则不用显示； 柔性透明OLED显示屏实现以下功能： a.不同车型单独配 置柔性透明OLED 显示屏， 显示屏尺 寸、 形状和大小要适应不同车辆要求； b.柔性透明OLED 显 示屏充分展示驾驶员视线盲区的区域， 显示屏查看角度与驾驶员查看的实景角度相贴合， 实现实景和虚拟 影像透过无缝融合； c.若当前路段为连续坑 洼路段则柔性透明OLED 显示屏 连续显示路面影像； 反之， 若当前为不连续坑洼路段则显示屏在车辆经过良好路段时不显 示路面影像； d.匹配光传感器， 测量当前光照环 境， 柔性透明OLED显示屏在不同光照条件 下 调整屏幕的亮度， 让驾驶员能看到舒 适、 清晰的画面。 5.根据权利要求1所述的方法， 其中， 所述车辆对路面坑洼进行播报分享， 包括:  当车 联网服务平台提醒路况信息异常时， 开启车前摄像机， 获取异常路段的路面图像信息， 车前 摄像头图像采集模块将当前视频素材传送到处理器， 处理器对视频素材进行判断， 若视频 素材识别为坑 洼路段， 则进一步判断这是哪种坑 洼路段， 并将提醒警报播报分享给驾驶员， 若当前路段为连续坑洼路段处， 则处理器只用进行一次提醒警报； 若当前路段为不连续坑 洼路段， 则经过的每段坑洼路段都要进行一次提醒； 与此同时还要记录车辆经过的坑洼路 段的地址、 路段距离和类别， 处理器将经过的坑 洼路段标记 为异常路段并将其地址、 路段距 离和类别发送到车联网服务平台上； 车联网服务平台为其他车辆提供信息路面信息； 若车 辆在车联网服务平台记录的异常路段中没有识别到路面坑洼， 则更新异常路段为正常路 段； 若车联网服务器记录的异常路段仍 为路面坑洼， 则不需更新。 6.根据权利要求1所述的方法， 其中， 所述车底污渍分析， 包括:  在透明引擎盖的显示 中， 污渍在视频连线帧中会有静止不动的特点， 保证驾驶员查看透明引擎盖时不被污渍遮 挡， 采取根据计算机视觉对污渍的分析方法： 首先选取视频帧序列中的一帧图像作为检测 帧， 在检测帧选取感兴趣的点或区域作为候选区域； 在检测帧的后续帧中， 采用图像跟踪算 法对候选区域进行跟踪， 获取跟踪轨迹； 对跟踪轨迹进行标记， 获取运动特征： 第一类运动 特征： 候选区域 非静止且跟踪良好； 第二类运动特征： 候选区域杂乱无章， 追踪困难； 第三类 运动特征为： 候选区域静止不动； 对各类运动特征进行分析， 确定非污渍区和可疑区： 对于 第一类运动特征， 候选区域经过的位置全部标记 为非污渍区域； 对于第二类运动特征， 直接 删除， 不做处理； 对于第三类运动特征， 候选区域所包含的范围， 除已标记为 非污渍区域外， 均标记为可疑区域； 完成一检测周期后， 重新选取检测帧， 并循环以上流程， 直到超过检测 阈值时间， 或者检测达到阈值帧数， 或者所有区域都被标记为非污渍区域时， 结束循环， 输 出检测结果； 当一检测周期确定的非污渍区域， 则在后续检