(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211230817.9 (22)申请日 2022.10.10 (71)申请人 临沂大学 地址 276000 山东省临沂市兰山区工业大 道北段西侧 (72)发明人 陈吉　王星　刘亚　高峰　李金岩　 李晓乐　张鑫　蒋文杰　 (74)专利代理 机构 山东知圣律师事务所 37262 专利代理师 黄学国 (51)Int.Cl. G06V 10/764(2022.01) G06V 10/26(2022.01) G06V 10/40(2022.01) G06V 10/82(2022.01) G06N 3/04(2006.01)G06N 3/08(2006.01) (54)发明名称 基于深度学习的实时煤岩分割网络生成方 法 (57)摘要 本发明提供了一种基于深度学习的实时煤 岩分割网络生成方法， 属于图像处理领域。 具体 包括以下步骤： S1： 构建CB模块； CB模 块利用卷积 和下采样操作模块将大图迅速下采样至低分辨 率的特征图； S2： 构建UB模块； UB模块是一个由小 型UNet构成的卷积 模块， 使用1/16的特征图构建 高分辨率路径； S3： 构建深度聚合池化金字塔模 块； 增加特征提取的感受野， 更充分地提取上下 文信息； S4： 双分辨率路径融合； 用双线 性插值法 和求合法实现从低到高的融合， 将高分辨率路径 和低分辨率路径的输出进行2倍上采样和8倍上 采样， 将采样后的特征图进行相加； S5： 构建分割 头模块； 使用两个卷积层， 更好地将特征图进行 煤岩分类 。 权利要求书2页 说明书5页 附图2页 CN 115294412 A 2022.11.04 CN 115294412 A 1.一种基于深度学习的实时煤岩分割网络生成方法， 其特 征在于： 包括以下步骤： S1： 构建CB模块； CB模块利用卷积和下采样操作模块将大图迅速下采样至低分辨率的 特征图； S2： 构建UB模块； UB模块是一个由小型UNet构成的卷积模块， 使用1/16的特征图构建高 分辨率路径； S3： 构建深度聚合池化金字塔模块； 增加特征提取的感受野， 更充分地提取上下文信 息； S4： 双分辨率路径融合； 用双线性插值法和求合法实现从低到高的融合， 将高分辨率路 径和低分辨 率路径的输出进行2倍上采样和8倍上采样， 将采样后的特 征图进行相加； S5： 构建分割头模块； 使用两个卷积层， 更好 地将特征图进行煤岩分类。 2.根据权利要求1所述基于深度 学习的实时煤岩分割网络生成方法， 其特征在于： 步骤 S1中， 具体包括以下步骤： S1‑1： 卷积操作； 卷积神经网络能够自动学习到多个分辨率下的图像特征， 在神经网络 较浅层时， 受感受野的约束只能感知到较小区域从而学习到图像的局部特征， 在神经网络 较深层时， 感受野不变但图像特征缩小， 因此具有较大的感知区域， 能够学习到目标对象更 抽象的特 征； S1‑2： 下采样操作； 将图像 中冗余的信息进行过滤， 提取网络感兴趣的特征以便更好地 获得图像 语义信息 。 3.根据权利要求1所述基于深度 学习的实时煤岩分割网络生成方法， 其特征在于： 步骤 S2中， 具体包括以下步骤： S2‑1： 提取不同尺度上下文信息； 该模块利用了Unet结构， 融合不 同感受野的特征， 可 以在前向传播过程中提取更多不同尺度的上下文信息； 该模块的输入特征图和输出特征图 的分辨率相同， 通道数增 加， 之后可以在UB模块后接上Max  pooling进行下采样； S2‑2： 池化操作； Max  pooling操作可以在实现下采样的同时保证特征的相对位置不 变， 相比于卷积层完成下采样操作， 使用该操作在完成下采样的过程中不需要训练参数， 可 以在减少参数量的同时避免过拟合问题； 对于跳跃连接结来说， 浅层 网络所有数据都是浅 层操作的结果， 深度网络则都是深层操作的结果， 而U型结构是包含了不同深度操作的结 果。 4.根据权利要求1所述基于深度 学习的实时煤岩分割网络生成方法， 其特征在于： 步骤 S3中， 具体包括以下步骤： S3‑1： 低分辨 率路径提取 上下文信息： 以1/64图像分辨率的特征图为输入， 采用指数步长的最大池化生成1/128、 1/256、 1/ 512图像分辨 率的特征图； S3‑2： 利用全局平均池化 生成输入特 征图和像素级信息： 首先对特征图进行上采样， 然后使用多个3 ×3卷积以分层残差的方式融合不同尺度的 上下文信息， 最后， 使用1 ×1卷积对所有特征图进 行拼接和压缩， 一个输入x， 每个尺度yi可 以写为：权　利　要　求　书 1/2 页 2 CN 115294412 A 2         （1） 其中， C1×1是1×1卷积， C3×3是3×3卷积， U表示上采样运算， Pj， k表示核大小为j， 步长为k 的池化层， Pglobal表示全局平均池化。 5.根据权利要求1所述基于深度学习的实时煤岩分割网络生成方法， 其特 征在于： 步骤S4中， 具体包括以下步骤： 双边融合包括将高分辨率分支融合到低分辨率分支即 高到低融合和将低分辨率分支融合到高分辨率分支即低到高融合； 对于高到低融合， 在逐 点求和之前， 高分辨率特征地图被以2 为步长的3 ×3卷积序列下采样； 对于低分辨率到高分 辨率， 低分辨率特征图首先用1 ×1卷积进行压缩， 然后用双线性内插法进行上采样， 第i个 高分辨率特征图XHi和低分辨 率特征图XLi可以写成：      (2) 其中FH和FL分别对应于高分辨率和低分辨率下的经过残差块之后的特征 图， 和 为从低到高和从高到低的transformer， 和 为第i‑1个高分辨率特征图 和低分辨率特征图， R为ReLU激活函数， 将不同的特征图分别经过下采样和上采样之后进 行 相加， 同时在特 征图之后都添加了ReLU激活函数。 6.根据权利要求1所述基于深度 学习的实时煤岩分割网络生成方法， 其特征在于： 步骤 S5中， 具体包括以下步骤： 对经过特征提取网络提取的特征图先进 行归一化处理， 然后使用 激活函数进行非线性 转换， 再进行 卷积处理。权　利　要　求　书 2/2 页 3 CN 115294412 A 3