(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211293374.8 (22)申请日 2022.10.21 (71)申请人 成都工业学院 地址 611730 四川省成 都市花牌坊街2号 (72)发明人 王平　李萌崛　陈妮　文荣　 (74)专利代理 机构 北京元本知识产权代理事务 所(普通合伙) 11308 专利代理师 曹广生 (51)Int.Cl. G06V 20/40(2022.01) G06V 10/82(2022.01) G06V 10/80(2022.01) G06V 10/774(2022.01) G06V 10/764(2022.01) (54)发明名称 一种基于改进DeepLab V 3+网络的变电站环 境理解方法 (57)摘要 本发明属于计算机模式识别技术领域， 公开 了一种基于改进DeepLab  V3+网络的变电站环境 理解方法， 包括采集变电站环境理解图像、 构建 环境理解网络并训练、 测试模型和变电站巡检机 器人环境理解方法应用的步骤。 其中变电站环境 理解语义分割网络同时兼顾识别精度及效率， 通 过将深层高精度卷积神经网络精简为小型浅层 的网络来降低网络参数以及存储空间来提高识 别效率， 并采用了改进的ASPP 模块和基于CB AM模 块的分步上采样和多分辨率特征融合的方式来 提高图像像素信息的利用率； 采用深度学习环境 理解方法可获取变电站巡检机器人当前环境的 信息， 对机器人导航避障提供更多有效的智能决 策， 使机器人环境 适应能力更强。 权利要求书3页 说明书9页 附图5页 CN 115359411 A 2022.11.18 CN 115359411 A 1.一种基于改进DeepLab  V3+网络的变电站环境理解方法， 其特征在于， 包括以下步 骤： S1： 采集变电站 环境理解图像， 并构建环境理解数据集； S2： 构建环境理解网络并训练； S3： 利用测试集测试模型； S4： 机器人智能决策算法设计； S5： 变电站巡检机器人道路场景识别应用。 2.根据权利要求1所述的一种基于改进DeepLab  V3+网络的变电站环境理解方法， 其特 征在于， 所述 步骤S1包括： S11:数据采集： 通过变电站巡检机器人采集各个变电站不同光照、 不同场景的道路视 频； S12:构建数据集： 从采集的道路视频中提取出清晰且重复率低的视频帧， 构建训练集 和测试集； S13:样本标注： 标注出图像 中目标的所有像素点， 剩余未标注的像素作为背景， 所述目 标包括道路、 杂草、 石头、 行 人、 机器人。 3.根据权利要求1所述的一种基于改进DeepLab  V3+网络的变电站环境理解方法， 其特 征在于， 所述步骤S2中的环境理解网络包括基于DeepLab  v3+网络的卷积编码 网络和反卷 积解码网络， 其编码器 （Encoder） 主干网络采用Xcepti on网络结构， 所述 步骤S2具体包括： S21:载入Xcepti on网络； S22:对所述Xcepti on网络进行剪 裁， 降低入口流 （Ent ry flow） 尾部的通道数； S23:采用ASPP模块 （Atrous  Spatial Pyramid Pooling,  空间金字塔池化模块） 进行 卷积运算实现多尺度信息提取， 卷积层全部采用深度可分离卷积； S24: 在Xception网络内部中间流 （Middle  flow） 和出口流 （Exit  flow） 通道方向进行 特征融合操作； S25:将S24中特征融合结果输入CBAM模块(Convolutional  Block Attention  Module， 卷积模块的注意力机制模块)处 理； S26:在网络末尾添加1x1的卷积层， 输出通道为目标类别数， 并添加损失层(Loss   Layer)和精度层(Accuracy  Layer)， 采用分类交叉熵损失函数作为损失层的目标函数， 计 算公式如下：     (1) 其中n表示样本总数， y是期望 输出， a是实际输出， C为分类交叉熵损失函数； 全局精度G计算公式如下：               (2) 其中 为代表属于类别i正确分类的像素个数， 代表类别i的总像素； S27:在解码阶段， 通过基于CBAM模块的分步上采样和多分辨率特征融合的方式， 来提 高图像像素信息的利用率， 进行图像放大； 将特征提取网络中的中层和高层语义特征之间 增加了一次特 征融合操作；权　利　要　求　书 1/3 页 2 CN 115359411 A 2S28: 经过3×3的深度可分离卷积运算后， 在第二次4倍上采样之前加入一个CBAM模 块； 采用中值频率均衡方法来平衡各个 类别， 计算公式如下：                           (3)                            (4) 其中num_i表示第i类的总像素个数， counti表示含有第i类的图像数量， w和h表示图像 宽高,median(fi)表示求fi的中值， fi为第i类像素在训练集中出现的频率， wi为第i类像素 的权重； S29: 通过所述步骤S1构建的训练集对环境理解网络进行训练： 首先对卷积编码网络 进行训练， 然后 将训练好的卷积编 码网络模型作为预训练模型， 对整个编 码‑解码网络进 行 训练。 4.根据权利要求3所述的一种基于改进DeepLab  V3+网络的变电站环境理解方法， 其特 征在于， 所述步骤S22具体为： 移除Xception网络中间流和出口流两块网络层进行部分剪 裁， 将入口流尾部的通道数降为512。 5.根据权利要求3所述的一种基于改进DeepLab  V3+网络的变电站环境理解方法， 其特 征在于， 所述步骤S23中ASPP模块的卷积层的空洞率组合为2、 4、 6、 8， 以提升对低分辨率目 标以及其 边缘的分割精度。 6.根据权利要求3所述的一种基于改进DeepLab  V3+网络的变电站环境理解方法， 其特 征在于， 所述步骤S27中分步上采样是通过两次小幅度的上采样增加语义信息在还原过程 中的连续性， 步骤S27具体操作为： 将4倍上采样变换为两次2倍上采样， 第一次将编码阶段 经ASPP模块处理及通道压缩后的特征图进 行二倍上采样， 然后与编码阶段经CBAM模块得到 的特征信息进行 特征融合， 接着再将特 征融合的结果进行二 倍上采样。 7.根据权利要求3所述的一种基于改进DeepLab  V3+网络的变电站环境理解方法， 其特 征在于， 所述步骤S29中， 对所述卷积编码网络进行训练时， 基于DeepLab  V3+网络权值， 采 用迁移学习的方式将Xception在PASCAL  VOC 2012上训练好的权重作为预训练模型来微调 编码网络， 同时将标签图缩小为模型最终输出尺寸， 并采用Adam （Adaptive  moment  estimation， 自适应矩估计） 梯度下降法对参数进行迭代调优， 同时设置相应的学习率、 最 大迭代次数、 动量 参数、 权值衰减参数， 不断迭代训练直至网络收敛。 8.根据权利要求1所述的一种基于改进DeepLab  V3+网络的变电站环境理解方法， 其特 征在于， 所述 步骤S3具体包括： S31:将训练好的编码 ‑解码网络转化为测试网络， 移除Loss层和Accuracy层， 添加 Softmax层， 计算各类别概 率， 计算公式如下：                  （5） 其中， 是第k类的概 率， 是输入的第k类的特 征向量， j∈[0～5]； S32:选择步骤S2中训练精度最高的k个网络权值分别对测试网络进行赋值， 通过所述权　利　要　求　书 2/3 页 3 CN 115359411 A 3