(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210331538.5 (22)申请日 2022.03.30 (71)申请人 浙江工业大 学 地址 310014 浙江省杭州市下城区潮王路 18号 (72)发明人 吴化平　陈海宁　苏彬彬　 (74)专利代理 机构 杭州求是专利事务所有限公 司 33200 专利代理师 林超 (51)Int.Cl. G06V 10/26(2022.01) G06V 10/44(2022.01) G06V 10/25(2022.01) G06V 10/764(2022.01) G06V 10/82(2022.01)G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 基于改进Mask_Rcnn的砂石骨料图像分割方 法 (57)摘要 本发明公开了一种基于改进Mask_Rcnn的砂 石骨料图像分割方法。 包括如下步骤： 建立初始 砂石骨料图像数据集； 数据标注增强， 获得增强 砂石骨料图像数据集， 合并建立扩展砂石骨料图 像数据集； 数据处理， 划分为训练集和测试集； 搭 建改进Mask_Rcnn算法模型， 并将训练集和测试 集输入训练测试； 将相机新拍摄的砂石骨料图 像， 输入到训练测试完成的改进Mask_Rcnn算法 模型中， 经处理后输出图像分割结果。 本发明方 法更好地保留了砂石骨料图像的边缘信息， 利用 改进Mask_Rcnn模型， 进一步削弱骨料之间相互 连接和遮挡以及部分骨料边缘不明确给分割带 来的不利影 响， 提高了算法模型的分割速度与精 度。 权利要求书5页 说明书14页 附图3页 CN 114842201 A 2022.08.02 CN 114842201 A 1.一种基于改进Mask_Rcn n的砂石骨料图像分割方法， 其特 征在于： 方法包括如下步骤： 1)利用相机采集初始砂石骨料图像， 建立初始砂石骨料图像数据集； 2)将初始砂石骨料图像数据集依次进行数据 标注与数据增强， 获得增强砂石骨料图像 数据集， 将增强砂石骨料图像数据集加入初始砂石骨料图像数据集中建立扩展砂石骨料图 像数据集； 3)对扩展砂石骨料图像数据集依次采用直方图均衡化、 梯度域引导滤波与Z ‑score标 准化方法进行 数据的处 理， 获得归一 化滤波输出图数据集， 并划分为训练集和 测试集； 4)在原Mask_Rcnn算法模型的主干特征提取网络的ResNet网络中和FPN网络后， 分别融 入MAC模块和添加SA注意力机制模块； 将原Mask_Rcnn算法模型的候选 区域提取网络RPN网 络， 替换为R ‑RPN网络； 进而搭建改进Mask_Rcnn算法模型， 并将训练集和测试集输入改进 Mask_Rcn n算法模型中进行训练和 测试； 5)利用相机采集待处理的砂石骨料图像， 将砂石骨料图像输入到训练测试完成的改进 Mask_Rcn n算法模型中， 经处 理后输出砂石骨料图像的图像分割结果。 2.根据权利 要求1所述的一种基于改进Mask_Rcnn的砂石骨料图像分割方法， 其特征在 于： 所述步骤1)中， 采集初始砂石骨料图像时， 将相机固定于拍摄区域上方支架上， 并且调 整相机焦距直至显示清晰； 将不同尺 寸的砂石平铺在拍摄区域内， 在拍摄过程中， 调整砂石 的位置和形态， 同时改变砂石的干湿度和光照强度条件， 进 行多次拍摄， 采集若干张初始砂 石骨料图像， 初始砂石骨料图像为灰度图像。 3.根据权利 要求1所述的一种基于改进Mask_Rcnn的砂石骨料图像分割方法， 其特征在 于： 所述步骤2)中， 进行数据标注时， 使用多边形线段将每张初始砂石骨料图像中的每一 块砂石的轮廓进行标注； 对于初始砂石骨料图像中被遮挡的砂石， 将被遮挡的部分进行圆 滑过渡标注， 使得每 个砂石标注的轮廓形成闭合区域； 数据标注完成后， 对初始砂石骨料图像分别进行旋转、 镜像、 裁剪和放大缩小操作， 增 强标注的数据， 获得增强砂石骨料图像， 从而建立扩展砂石骨料图像数据集。 4.根据权利 要求1所述的一种基于改进Mask_Rcnn的砂石骨料图像分割方法， 其特征在 于： 所述步骤3)中， 具体步骤如下： 3.1)将扩展砂石骨料图像数据集进行直方图均衡化处 理； 针对每张扩展砂石骨料图像， 均进行以下操作： 获取扩展砂石骨料图像中的每个像素值， 计算每种像素值的出现概率， 利用出现概率 计算每种像素值的向该种像素值更小方向包 含的累积概 率； 针对其中一种像素值， 将比该种像素值小的其他所有种像素值的出现概率和该种像素 值的出现概 率相加， 即得到该种像素值的累积概 率； 将每种像素值所对应的累积概率与最大灰度值255相乘获得替换像素值， 将每个像素 值替换为对应于该像素值的替换像素值， 从而替换扩展砂石骨料图像中的所有像素值； 将 每个像素值均被替换完成的扩展砂石骨料图像作为导向图， 各个导向图组成导向图数据 集；权　利　要　求　书 1/5 页 2 CN 114842201 A 23.2)将导向图数据集进行梯度域引导滤波处 理； 将导向图数据集使用梯度域引导滤波进行滤波处理， 即将导向图数据集中的每张导向 图进行滤波处理， 滤波处 理完成的导向图数据集作为滤波输出图数据集； 针对导向图中的每一个像素点， 像素点的导向图与像素点经梯度域引导滤波处理的滤 波输出图之间为线性关系， 公式如下： 其中， 代表p像素点的滤波输出图， G(p)代表p像素点的导向图， 代表以p'像素 点为中心， 以ζ1为半径的窗口； 和 代表p像素点的第一、 第二平均滤波参数， 在窗口 内为常值； 第一、 第二平均滤波参数 和 公式如下： 其中， 代表以p'像素点为中心， 以ζ1为半径的包含p像素点的所有窗口； 代 表 的个数； ap'和bp'代表 中的p像素点的第一、 第二最佳滤波参数， 在窗口 内 为常值； 针对 中的每个窗口中的p像素点的第一、 第二最佳滤波参数ap'和bp'， 均利用线性 回归求得， 公式如下： 其中，⊙代表两个矩阵的点乘， 代表导向图G与扩展砂石骨 料图像X的点乘结 果在以p'像素点为中心， 以ζ1为半径的窗口中的平均值； 代表导向图G在以p'像素 点为中心， 以ζ1为半径的窗口中的平均值； 代表扩展砂石骨料图像X在以p'像素点 为中心， 以ζ1为半径的窗口中的平均值； λ代表正则化参数， ΓG(p')和γp'代表导向图G以p' 像素点为中心的第一、 第二边缘感知因素； 代表导向 图G在以p'像素点为中心， 以ζ1 为半径的窗口中的方差； 3.3)将滤波输出图数据集进行Z ‑score标准化处理： 针对每张滤波输出图， 均进行以下操作： 对滤波输出图中的所有像素值进行归一化， 将滤波输出图的所有像素值分别减去所有权　利　要　求　书 2/5 页 3 CN 114842201 A 3