(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210368457.2 (22)申请日 2022.04.09 (71)申请人 常州大学 地址 213164 江苏省常州市武进区滆湖中 路21号 (72)发明人 储开斌　许嘉诚　张继　冯成涛　 (74)专利代理 机构 常州市英 诺创信专利代理事 务所(普通 合伙) 32258 专利代理师 杨闯 (51)Int.Cl. G06V 20/10(2022.01) G06V 10/762(2022.01) G06V 10/44(2022.01) G06V 10/764(2022.01) G06V 10/82(2022.01)G06K 9/62(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01) G05D 3/12(2006.01) (54)发明名称 一种基于深度学习的机器人装甲板检测方 法 (57)摘要 本发明涉及图像处理技术领域， 尤其涉及一 种基于深度学习的机器人装甲板检测方法， 包括 采集机器人装甲板图片； 增加一条与网络浅层特 征层相连的路径， 增加一个对小目标预测尺度， 并添加SPP模块， 融合XNOR ‑Net； 设置网络参数； 搭建训练平台； 进行装甲板检测测试； S6： 利用 PID控制方法控制云台瞄准目标装甲板。 本发明 增加对小目标检测能力强的输出预测尺度， 增强 对小目标的检测效果， 引入空间金字塔池化SPP 模块， 通过不同尺寸的内核 得到了全局特征和局 部特征， 在网络模型中融合不同尺度感受野， 丰 富了特征信息； 融合XNOR ‑Net， 通过对权重和输 入进行二值化操作， 达到既减少存储空间， 又加 速的目的。 权利要求书2页 说明书7页 附图5页 CN 114724033 A 2022.07.08 CN 114724033 A 1.一种基于深度学习的机器人装甲板检测方法， 其特 征在于， 包括以下步骤： S1、 采集不同比赛场景下的机器人装甲板图片， 构建机器人装甲板数据集， 对数据集进 行预处理； S2、 在yolov4 ‑tiny网络中增加一条与网络浅层 特征层相连的路径， 增加一个对小目标 检测能力强的输出预测尺度， 并在网络模型骨干网络后的颈部添加SPP模块， 并在yolov4 ‑ tiny网络中 融合XNOR ‑Net， 构建改进yo lov4‑tiny网络； S3、 对改进yo lov4‑tiny网络设置参数； S4、 搭建训练平台， 将数据集 放入改进yo lov4‑tiny网络进行迭代训练； S5、 将训练好的改进yolov4 ‑tiny网络迁移至机器人嵌入式平台Jetson  TX2上进行装 甲板检测 测试； S6、 机器人通过改进yolov4 ‑tiny网络接收目标装甲板信息， 利用PID控制 方法控制云 台瞄准目标装甲板并发射子弹击打目标。 2.根据权利要求1所述的基于深度学习的机器人装甲板检测方法， 其特征在于， 所述步 骤S1包括： S11、 采集不同比赛场景下的机器人装甲板图片， 包括红色机器人装甲板， 蓝色机器人 装甲板和被比赛环境干扰的红蓝装甲板； S12、 将采集的数据集样本进行分类， 按比例分为训练集和 测试集； S13、 对数据集进行crop操作； S14、 使用YOLO ‑MARK工具对机器人红蓝装甲板图片进行标注， 生成与图片对应的标签 数据。 3.根据权利要求1所述的基于深度学习的机器人装甲板检测方法， 其特征在于， 所述步 骤S2包括： S21、 将yolov4 ‑tiny增加了一条与网络浅层特征层相 连的路径， 增加了一个对小目标 检测能力强的输出预测尺度， 在原有网络结构上通过上采样方式融合网络浅层与深层特 征； S22、 引入SPP模块， 通过不同尺寸的内核得到了全局特征和局部特征， 在网络模型中融 合不同尺度感受野， 丰富了特 征信息； S23、 在yolov4 ‑tiny网络中融合XNOR ‑Net， 使用XNOR和bitcount代替传统卷积 中的乘 积运算， 同时对权 重和输入进行二 值化操作； 卷积操作使用卷积核点乘输入的某个区域， 假设输入为X， 卷积核为W， 缩放因子α， β， 二 值激活H， 二 值权重B： 对激活输入进行量 化： X≈β H 对权重进行量 化： W≈α B 则得到： XTW≈β HTα B 其中， H,B∈{+1, ‑1}nandβ, α ∈R+； 得出优化公式： α*,B*, β*,H*＝argminα,B, β,H‖ X⊙W‑β α H⊙B ‖ 通过优化公式计算出的输入和权值均为 二值化最优值的解。权　利　要　求　书 1/2 页 2 CN 114724033 A 24.根据权利要求1所述的基于深度学习的机器人装甲板检测方法， 其特征在于， 所述步 骤S3包括： S31、 利用K ‑means++算法针对机器人装甲板目标 数据集重新聚类； S32、 采用CIOU替代IOU作为回归 优化损失函数； S33、 设置网络输入图像的像素、 batch  size、 mini ‑batch、 权值的衰减速率、 初始学习 率和迭代次数。 5.根据权利要求1所述的基于深度学习的机器人装甲板检测方法， 其特征在于， 所述步 骤S5包括： S51、 NVIDIA  Jetson TX2环境配置； S52、 通过opencv进行图像预处理， 通过摄像头读入的图像为BGR格式， 转换为Darknet 期望的RGB格式， 将图像缩放至网络输入尺寸， 在缩放过程中保持原始图像宽高比， 对图像 像素值进行归一 化操作； S53、 将预处 理后的图像输入到改进yo lov4‑tiny网络中， 进行 前向计算检测装甲板； S54、 首先对所有预测框的置信度排名， 选取置信度最高的预测框作为基准， 然后计算 剩余预测框与基准预测框 之间的交并比， 如果大于 设定的阈值， 就删除该边界框， 再从剩下 的边界框中选取置信度最高的作为基准， 重复以上 过程， 最终得到满足标准的最佳 预测框； S55、 采用mAP作为yo lov4‑tiny网络检测精度的评价指标， 输出筛 选后的检测结果。 6.根据权利要求1所述的基于深度学习的机器人装甲板检测方法， 其特征在于， 所述步 骤S6包括： 上位机和下位机采用串口通信， 通信内容为云台姿态； 上位机利用图像像素坐标 系和真实世界坐标系的转换， 获得期望的云台姿态， 通过串口将期望的云台姿态发送给下 位机进行云台姿态的串 级PID控制。权　利　要　求　书 2/2 页 3 CN 114724033 A 3