(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210420127.3 (22)申请日 2022.04.20 (71)申请人 汉得利 （常州） 电子股份有限公司 地址 213022 江苏省常州市新北区黄河西 路199号 (72)发明人 吴逸飞　赵峥　高峰　鲍晨凯　 (74)专利代理 机构 北京锦信诚泰知识产权代理 有限公司 1 1813 专利代理师 丁涛 (51)Int.Cl. G06V 20/58(2022.01) G06V 10/25(2022.01) G06V 10/44(2022.01) G06V 10/774(2022.01) G06V 10/30(2022.01)G06V 10/82(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 一种用于智能汽 车的视觉检测系统、 方法及 装置 (57)摘要 本发明涉及一种用于智能汽车的视觉检测 系统、 方法及装置， 属于智能汽车车载系统领域； 本发明通过构建检测模型， 在工作中， 通过传感 器单元获取目标物体数据并传输至图像识别模 型中， 检测模 型进行对接收到的目标物体数据进 行图像处理以及特征提出， 并输出检测结果， 根 据检测结果进行判定目标物体是否构成危险， 并 将图像数据和判定结果传输至汽车显示屏和语 音播报装置上， 从而提醒驾驶者， 并进行物体跟 踪， 同时本发明红外传感器采用16 ×16单元的 SMD红外阵列传感器和集成透镜的晶体管封装技 术实现了在低照度环境下高清晰度的红外成像， 从而本发明可以实现汽车在恶劣天气下的目标 物体准确图像采集、 分析和跟踪， 从而保证驾者 的安全。 权利要求书3页 说明书9页 附图4页 CN 114821529 A 2022.07.29 CN 114821529 A 1.一种用于智能汽车的视 觉检测方法， 其特 征在于， 包括： 步骤1、 构建用于分析图像数据的检测模型； 步骤2、 在工作中， 通过传感器单元中的红外传感器和摄像头获取目标物体数据并传输 至所述图像识别模型中； 步骤3、 所述检测模型进行对接收到的目标物体数据进行图像处理以及特征提出， 并输 出检测结果； 步骤4、 根据检测结果进行判定目标物体是否构成危险， 并将图像数据和判定结果传输 至汽车显示屏和语音播报装置上， 从而提醒驾驶 者； 步骤5、 根据预设阈值范围， 进行实时检测该 范围内的目标物体。 2.根据权利要求1所述的一种用于智能汽车的视觉检测方法， 其特征在于， 在构建用于 分析图像数据的检测模型时， 还包括了用于训练所述检测模型的图像训练集和图像存储 集； 所述图像训练集和所述图像存储集是为了在前期工作时进行收集图像数据， 并根据图 像数据进 行训练检测模块； 所述图像训练集加了目标区域提取网络通过卷积神经网络模型 来预测目标可能存在区域， 使得目标物体模型区域的提特征取速度明显加快； 同时根据收 集图像数据进行学习训练， 从而调整检测模型； 其调整方法是先将在前期工作时收集的图 像数据进存储至图像存储集， 且图像训练集利用其进行训练目标区域提取网络， 并生产 ROI； 针对ROI利用原 域数据集初始 化好的网络进 行分类与回归训练， 此时2个网络未共享参 数； 从而利用得到的网络训练目标区域提取网络， 只调整目标区域提取网络特有的网络层 参数， 并生成RO2； 利用生成的RO2训练网络进行分类与回归,保持共享的卷积层参数固定， 至此完成检测模述图像训练集网络的训练。 3.根据权利要求1所述的一种用于智能汽车的视 觉检测方法， 其特 征在于， 在步骤2中， 为保证在夜间和恶劣天气下的车辆行驶安全， 利用红外传感器和摄像头进 行同时采集， 并对采集图像进行融合， 实现在不同条件下， 视觉检测的准确 性； 对于红外采 集图像和摄像头采集图像， 需要进行图像处理才能传输至检测模块中； 所述图像处理包括 以下步骤： 步骤2‑1、 图像预处理， 因为在夜间和恶劣天气下的环境， 采集图像会受到光线、 雨雾气 体的干扰， 从而导致采集图像模糊和干扰信息多的情况， 所以需要对采集的图像进行去 噪 和图像增强工作， 从而保证图像信息可以得 出目标物体信息； 步骤2‑2， 进行目标物体特征提取； 通过对处理后的图像进行分割和特征提取， 是指将 图像分成若干互不重叠的子区域， 使得同一个子区域内的特征具有一定相似性， 不同子区 域的特征呈现较为明显的差异， 从而突出图像中目标物体的信息， 并将目标物体信息进行 提取， 除去其 他信息； 步骤2‑3， 进行图像融合； 通过对完成上述步骤的红外图像和摄像头图像进行融合， 通 过提取两幅图像中各自有效信息并综合处理， 最终得到一幅新图像， 并将此图像作为检测 对象， 同时将图像信息发送至检测模型中。 4.根据权利要求3所述的一种用于智能汽车的视觉检测方法， 其特征在于， 图像融合工 作包括以下步骤： 步骤一： 多尺度分解， 分别对尺寸， 分辨率相同的原图像进行小波分解， 可以分别得到权　利　要　求　书 1/3 页 2 CN 114821529 A 2各原图像的高频子带和低频子带。 步骤二： 低频子带融合， 采用加权平均融合的策略对各原图像的低频子带进行融合。 步骤三： 高频子带融合， 采用绝对值取 大融合的策略对各图像的高频子带进行融合， 步骤四： 小波重构， 采用小波逆变换处理融合后的高频子带和低频子带， 得到 融合后的 图像。 5.根据权利要求4所述的一种用于智能汽车的视觉检测方法， 其特征在于， 在进行图像 融合工作时， 对原图像通过变换分解得到不同层次的变换系 数， 然后根据区域特性的融合 规则来合并这些分解系 数， 并进行分析分解后低频分量和高频分量的特征， 最后对不同层 次分别进行逆变换； 其中低频分量和高频分量的分解不同， 需要先进行获取低频区域和高 频区域的区域融合。 6.根据权利要求5所述的一种用于智能汽车的视觉检测方法， 其特征在于， 低频区域融 合是将变换得到的低频信号中携带了原图像中大量的能量信息， 与原图像十分相似， 将对 低频区域的区域能量进行加权， 具体方法如下： 首先选择的邻域窗口大小为3*3， 设原红外图像为A， 原摄像头图像为B， 融合后图像为 C， 从而可以得 出原红外图像为A和原摄 像头图像的低频区域匹配度， 即： 上述式中， ω(m， n)表示特定的窗口函数， IA(i， j)和IB(i， j)分别表示原红外图像为A和 原摄像头图像为B在坐标(i， j)处的像素值； FA， B表示原红外图像为A和原摄像头图像的低频 区域匹配度； 根据原红外图像为A和原摄 像头图像B的低频区域匹配度进行计算分解系数， 即： 上述式中， 分别表示原红外图像为A， 原摄像头图 像为B和融合后图像为C第l层第k个方向子带， α(i， j)加 权系数， 从而得到低频区域融合后 图像的分解系数。 7.根据权利要求5所述的一种用于智能汽车的视 觉检测方法， 其特 征在于， 分解得到的高频子带的分解系数绝对值大小与原图像中亮度变化的剧烈 程度成正比， 高频信号包含了除低频分量包含的信息以外的全部图像信息， 图像中拥有的信息量可由信 息熵计算， 其数 学定义如下: 上述式中， i表示高频信号中图像灰度值大小， Pi为i的分布概率， L为灰度值的最高值， 可以得出信息熵值越 大， 表示融合结果拥有的信息量越大， 融合质量越理想， 进而对高频子 带的区域进 行加权信息熵， 首先采用矩阵划分法， 然后分别对 各区域计算信息熵， 并计算加权　利　要　求　书 2/3 页 3 CN 114821529 A 3