(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210541088.2 (22)申请日 2022.05.19 (71)申请人 淮阴工学院 地址 223000 江苏省淮安市经济技 术开发 区枚乘东路1号 (72)发明人 孙成富　费宏彦　艾米尔　李晓晨　 (74)专利代理 机构 淮安市科文知识产权事务所 32223 专利代理师 吴晶晶 (51)Int.Cl. G06V 10/44(2022.01) G06V 10/25(2022.01) G06V 10/764(2022.01) G06K 9/62(2022.01) G06V 10/82(2022.01)G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 一种基于模型融合的高效道路全景检测方 法 (57)摘要 本发明属于图像处理技术领域， 公开了一种 基于模型融合的高效道路全景检测方法， 获取图 像数据并进行预训练； 构建网络模型并进行训 练， 网络模型结构包括特征提取模块、 路面分割 模块以及目标识别模块； 特征提取模块对待处理 图像进行特征提取； 路面分割模块在输入的特征 图中寻找 边缘线段， 将线 段连接为边界识别路面 区域； 目标识别模块采用决策树对多种车型进行 检测； 利用剪枝微调网络模型， 在特征提取模块 BN层的缩 放因子上加入L1与L2的正则化； 利用人 工智能摄像机测量车辆与车辆 之间的距离； 对人 工智能摄像机拍摄的图片数据进行检测。 与现有 技术相比， 本发 明能够快速的进行路面的分割以 及车辆的检测， 并且输出清晰的图像 。 权利要求书3页 说明书8页 附图2页 CN 114882239 A 2022.08.09 CN 114882239 A 1.一种基于模型融合的高效道路全景检测方法， 其特 征在于， 包括如下步骤： 步骤1： 获取图像数据并进行 预训练； 步骤2： 构建网络模型并进行模型训练， 所述网络模型结构包括特征提取模块、 路面分 割模块以及目标识别模块； 所述特征提取模块对待处理图像进行特征提取， 采用CNN进行图像特征提取， 利用CONV +BN+Relu的模式进行两次卷积操作， 第一层卷积采用卷积层与BN层融合， 在第一层卷积之 后直接连接BN层， 将BN层对于数据的尺度转换和均值偏移运算直接运用到卷积核中； 第二 层卷积在第一层卷积 操作基础上 再增加一个卷积层； 并在卷积之后， 增 加空间金字塔； 所述路面分割 模块在输入的特征图中寻找边缘线段， 然后将这些线段连接为边界来识 别路面区域； 所述目标识别模块采用决策树对于路面上 出现的多种车 型进行检测； 步骤3： 利用剪枝微调步骤2中所述网络模型， 即在特征提取模块的BN层的缩放因子上 加入L1与L2的正则化， 再进行训练微调后形成最终的网络模型； 步骤4： 利用人工智能摄 像机测量车辆与车辆之间的距离； 步骤5： 利用步骤3中构建的网络模型对人工智能摄 像机拍摄的图片数据进行检测。 2.根据权利要求1所述的基于模型融合的高效道路全景检测方法， 其特征在于， 所述步 骤1中获取图像数据并进行 预训练的具体操作为： (1)搜集不同道路 路面的实况图， 包括白天、 黑夜、 暴 雨等不同条件下的图像； (2)使用labelm 打标签工具进行 标签标注， 标签分为两类， 路面以及各种车辆； (3)标注完成之后生成jso n文件进行转换并生成mask； (4)将mask标签图像和原图进行缩放、 旋转、 裁 剪的操作之后数据会得到增强； (5)将增强完毕之后的数据集 生成训练集、 验证集和 测试集。 3.根据权利要求1所述的基于模型融合的高效道路全景检测方法， 其特征在于， 所述步 骤2中特征提取模块的具体操作为： 将每一张图片设置为28*28， 第一层卷积中有256个通道， 每个通道都有9*9个卷积核， 在卷积层之后直接连接BN层时， 可以将卷积运算和BN层的运算合并， 即将BN层对数据的尺 度变换和均值偏移运算可以直接作用到卷积核， 并采用激活函数RELU， 第一层卷积的结果 将其称为Co nvl ReLU； 在第一层卷积之后又加了卷积层， 该层用9*9得 卷积核对Co nvl ReLU做卷积 操作； 对得到了图像特 征， 采用空间金字塔， 采用最大池化的思想来满足输入特 征的一致。 4.根据权利要求1所述的基于模型融合的高效道路全景检测方法， 其特征在于， 所述步 骤2中路面分割模块的具体操作为： 1)首先寻找边 缘线段： 1.1)使用高斯滤波器平 滑输入图像： 令G(x， y)为高斯 函数： 其中， x， y： 像素的模板坐标， σ 为空间常数； 用G和f进行 卷积得到平 滑图像： fs(x， y)＝G(x， y)*f(x， y) 其中， f(x， y)表示输入图像， G(x， y)表示高斯 函数， 得到的平 滑后的图像fs(x， y)；权　利　要　求　书 1/3 页 2 CN 114882239 A 21.2)计算梯度幅值图像和方向图像： 幅值： 其中， 表示为梯度图像， gx(x， y)、 gy(x， y)表示对每个像素位置计算偏导数， 得到一幅图像的梯度； 角度： 其中， 1.3)用非极大值抑制， 细化图像中较宽边 缘； 令d1、 d2、 d3、 d4为道路图像区域的四个边 缘方向， 需要寻找 边缘的方向dk； 令K表示 在(x， y)处的值， 若k小于 dk方向上的点(x， y)的一点或者两个邻点处的 值， 则令gN(x， y)＝0(抑制)， 否则gN(x， y)＝k， 其中 为梯度图像， gN(x， y)表示 为非极大值抑制图像； 1.4)对gN(x， y)进行阈值处 理； 2)其次将线段 连接为边界： 2.1)在每个点(x， y)的一个小领域内分析像素特点， 根据定义的推测将所有相识的点 连接起来， 形成相似性质的像素的边 缘； 2.2)令Sxy表示图像中以点(x， y)为中心点的一个领域坐标集， 假如|M(s， t) ‑M(x， y)|≤ F， F为正阙值， 那么Sxy中坐标为(s， t)的边缘像素在幅度上与(x， y)处的像素是相似的； 假如 Sxy中坐标为(s， t)的边缘像素在角度上与(x， y)处的像素是相似的； 如果既满足幅值又满足方向准则， 那么Sxy中坐标为(s， t)的像素连接到(x， y)处的像素， 接 下来重复这 一个过程， 得到边界区域； 3)利用霍夫变换取直线， 得到边界区域之后， 画出在路面图像中所有点的参数空间直 线， 并且平面中主要直线可以通过标识空间中大量直线相交的那些点来找到， 对于垂直方 向上的点采用公式xcosθ+ysinθ＝ρ(在水平直线上θ＝0， ρ 表示正x截距)来获取， 并设置阈 值筛选出有效直线然后画出直线两端的延长线， 并求得其交点， 利用两点式求出与图边缘 的交点， 最后取ROI区域掩码图与原图合并得到最终分割结果。 5.根据权利要求1所述的基于模型融合的高效道路全景检测方法， 其特征在于， 所述步 骤2中目标识别模块采用决策树对于路面上 出现的多种车 型进行检测的具体操作为： 1)引入道路中所有车 型的数据并处 理、 获取名称与类别标记； 2)选择最多的类作为类别标记； 3)计算信息熵， 其公式为 其中， D表示车辆 数据集， k表示类别个 数， y表示 当前结果的个 数， pk表示k类样本 所占的 比例， log2 pk表示等概率均匀分布的熵； 4)根据计算出来的信息熵构建子数据集； 5)计算信息增益， 利用划分前的信息熵减去划分后的信息熵： 其中， v表示可能取值的集合， D表示整个数据集， Dv表示轮数取值为v的样本集合， 依次权　利　要　求　书 2/3 页 3 CN 114882239 A 3