(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211321781.5 (22)申请日 2022.10.27 (71)申请人 山东聚祥机 械股份有限公司 地址 274900 山东省菏泽市巨野县城彭泽 路西段路南 (72)发明人 庞守恩　邢福梅　沈胜庆　薛兵　 杨纪冲　 (74)专利代理 机构 济南圣达知识产权代理有限 公司 372 21 专利代理师 李圣梅 (51)Int.Cl. G06V 20/56(2022.01) G06V 10/82(2022.01) G06V 10/80(2022.01) G06V 10/774(2022.01)G06V 10/20(2022.01) (54)发明名称 基于尺度感知神经网络的无人清扫车路面 识别方法及系统 (57)摘要 本发明公开了一种基于尺度感知神经网络 的无人清扫车路面识别方法及系统， 涉及目标识 别技术领域， 该方法包括采集无人清扫车所处环 境的路面图像， 对图像进行预处理， 获取 以标注 位置和类别信息的目标区域图像为训练样本的 训练样本集； 构建目标识别模型， 所述目标识别 模型包括显著性感知注意力模块、 尺度感知特征 学习模块、 上下文信息提取模块和上下文注意力 机制信息融合模块； 利用所述训练样本集训练目 标识别模型； 将待识别的路面图像输入到训练完 成的目标识别模 型中进行识别。 本发 明通过构建 一种尺度感知卷积神经网络， 弥补现有方法忽略 目标尺度差异信息的缺点， 提高路面识别的性能 及识别准确性， 提高无人清扫车的清扫效率及清 扫效果。 权利要求书2页 说明书7页 附图2页 CN 115376094 A 2022.11.22 CN 115376094 A 1.一种基于尺度感知神经网络的无 人清扫车路面识别方法， 其特 征是， 包括： 采集无人清扫车所处环境的路面图像， 对图像进行预处理， 获取以标注位置和类别信 息的目标区域图像为训练样本的训练样本集； 构建目标识别模型， 所述目标识别模型包括显著性感知注意力模块、 尺度感知特征学 习模块、 上 下文信息提取模块和上 下文注意力机制信息融合模块； 利用所述训练样本集训练目标识别模型； 将待识别的路面图像输入到训练完成的目标识别模型中进行识别。 2.如权利要求1所述的基于尺度感知神经网络的无人清扫车路面识别方法， 其特征是， 所述预处 理包括： 依据图像掩码精准定位图像中的小目标区域， 复制小目标区域并对该复制的小目标区 域进行随机变换操作； 将随机变换操作后的小目标区域随机粘贴到与该目标区域邻近且不遮挡其他样本的 区域。 3.如权利要求1所述的基于尺度感知神经网络的无人清扫车路面识别方法， 其特征是， 所述显著性感知注意力模块中引入一个动态的显著 性权重系数， 对路面图像中不同目标区 域图像的掩码进行加权 重编码， 获得显著性感知注意力图。 4.如权利要求1所述的基于尺度感知神经网络的无人清扫车路面识别方法， 其特征是， 所述尺度感知特 征学习模块用于多分支细节信息提取和语义特 征增强学习， 具体包括： 利用多组并行的大小不 一的卷积核学习并提取目标区域图像的不同尺度的细节信息； 将提取的细节信息输入到尺度注意力模块， 为提取到的不同尺度的细节信息赋予权 重， 使学习到的细节信息适应于大小不同的目标区域； 将提取的初始目标区域特征输入至语义特征增强学习模块中， 对获取的初始目标区域 特征进行语义增强， 输出最终的目标区域特 征。 5.如权利要求1所述的基于尺度感知神经网络的无人清扫车路面识别方法， 其特征是， 所述上下文信息提取模块用于提取目标区域图像以外区域的上 下文特征。 6.如权利要求1所述的基于尺度感知神经网络的无人清扫车路面识别方法， 其特征是， 所述上下文注意力机制信息融合模块用于融合目标区域特 征及其上 下文特征， 具体为： 将获得的目标区域特 征图和上 下文特征图通过co ncate方式叠加； 利用通道 注意力机制获得 特征权重因子； 基于特征权重因子， 加权融合得到路面图像的全局特 征图。 7.如权利要求1所述的基于尺度感知神经网络的无人清扫车路面识别方法， 其特征是， 在目标识别模型的训练过程中， 构建损失函数， 重复进 行反向传播训练； 所述目标识别模型 以特征一致性损失和自适应交叉熵损失的加权和作为总损失。 8.一种基于尺度感知神经网络的无 人清扫车路面识别系统， 其特 征是， 包括： 图像采集模块， 用于采集无 人清扫车 所处环境的路面图像； 图像预处理模块， 用于对图像进行预处理， 获取以标注位置和类别信息的目标区域图 像为训练样本的训练样本集； 目标识别模型构建模块， 用于构建目标识别模型， 所述目标识别模型包括显著性感知 注意力模块、 尺度感知特征学习模块、 上下文信息提取模块和上下文注意力机制信息融合权　利　要　求　书 1/2 页 2 CN 115376094 A 2模块； 目标识别模型训练模块， 用于利用所述训练样本集训练目标识别模型； 目标识别模块， 用于将待识别的路面图像输入到训练完成的目标识别模型中进行识 别。 9.如权利要求8所述的基于尺度感知神经网络的无人清扫车路面识别系统， 其特征是， 所述预处 理包括： 依据图像掩码精准定位图像中的小目标区域， 复制小目标区域并对该复制的小目标区 域进行随机变换操作； 将随机变换操作后的小目标区域随机粘贴到与该目标区域邻近且不遮挡其他样本的 区域。 10.如权利要求8所述的基于尺度感知神经网络的无人清扫车路面识别系统， 其特征 是， 所述上 下文注意力机制信息融合模块用于融合目标区域特 征及其上 下文特征， 具体为： 将获得的目标区域特 征图和上 下文特征图通过co ncate方式叠加； 利用通道 注意力机制获得 特征权重因子； 基于特征权重因子， 加权融合得到路面图像的全局特 征图。权　利　要　求　书 2/2 页 3 CN 115376094 A 3