(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210346966.5 (22)申请日 2022.04.01 (66)本国优先权数据 202110744148.6 2021.07.01 CN (71)申请人 南京兆通智能科技有限公司 地址 211300 江苏省南京市高淳区桠溪国 际慢城小镇10栋C区268室 (72)发明人 刘建明　 (74)专利代理 机构 北京沃知思真知识产权代理 有限公司 1 1942 专利代理师 高小艳 (51)Int.Cl. G06V 20/20(2022.01) G06V 10/22(2022.01) G06V 10/44(2022.01)G06V 10/774(2022.01) G06K 9/62(2022.01) (54)发明名称 基于目标检测算法的边 缘端在位 监测系统 (57)摘要 本发明公开了基于目标检测算法的边缘端 在位监测系统， 属于物流设备技术领域， 包括智 能在位检测模块和管理平台； 其中， 所述智 能在 位检测模块安装于AGV小车上， 其包括边缘端设 备、 图像采集单元和电源单元； 所述边缘端设备 包括图像获取单元、 图像检测单元和货物识别单 元； 本发明采用YOLOv3和SSD目标检测算法进行 样本训练， 得到完整边缘端目标检测模型， 其相 较于传统的two ‑stage方法， 检测与识别速度更 快， 并且本发明通过重复测试和样本添加， 使得 模型不断优化， 进而提高了该模 型的检测与识别 准确度； 此外， 本发明产品图像的检测和识别均 在边缘端设备上实现， 进而有利于降低管理平台 的数据处 理压力。 权利要求书1页 说明书4页 附图3页 CN 114550019 A 2022.05.27 CN 114550019 A 1.基于目标检测算法的边缘端在位监测系统， 其特征在于， 包括智能在位检测模块和 管理平台； 其中， 所述智能在位检测模块安装于AGV小车上， 其包括边缘端设备、 图像采集单元和 电源单元； 所述边缘端设备包括图像获取单元、 图像检测单元和货物识别单元； 所述智能在 位检测模块与管理平台通过 无线通信技 术进行远程 通信。 2.根据权利要求1所述的基于目标检测算法的边缘端在位监测系统， 其特征在于， 所述 图像采集单元具体为摄像头， 用于在AGV小 车的运行过程中对货架上各仓位进 行图像拍摄， 采集产品图像； 所述电源单 元用于对智能在位检测模块进行 供电。 3.根据权利要求1所述的基于目标检测算法的边缘端在位监测系统， 其特征在于， 所述 图像获取单元用于获取所述图像采集单元采集到的产品图像； 所述图像检测单元用于通过 完整边缘端目标检测模型对产品图像进行检测， 得到图像检测结果， 所述图像检测结果包 括两种情况： 一种为仓位上有货物， 另一种是仓位上无货物； 所述货物识别单元用于通过完 整边缘端目标检测模型对图像检测结果为有货物的产品图像进行类别识别， 得到货物类别 识别结果。 4.根据权利要求3所述的基于目标检测算法的边缘端在位监测系统， 其特征在于， 所述 完整边缘端目标检测模型的具体形成过程如下： S1： 首先， 通过检测单元收集各类产品图像， 并对其进行类别标注， 形成所需样本数据 集； S2： 然后， 采用MobileNet轻量级目标检测网络对步骤S1所述样本数据 集进行目标检测 算法训练， 形成初始边 缘端检测模型一； S3： 接着， 将步骤S2所述初始边缘端检测模型通过硬件部署至边缘端设备上， 将其应用 运行在实际发生的所有场景中， 以测试模型性能； S4： 获取测试过程中所有场景识别的产品图像， 对检测和识别失败的产品图像进行负 样本标注， 得到失败产品图像样本集； S5： 将步骤S4所述失败产品图像样本集添加到步骤S1样本数据集中， 形成新的样本数 据集， 并再次采用Mobi leNet轻量级目标检测网络对其进行目标检测算法训练； S6： 然后， 对步骤S5所述目标检测模型进行剪裁、 量化和蒸馏操作， 形成初始边缘端检 测模型二； S7： 重复步骤S3 ‑S6， 直至模型性能达 到最优， 即得到 完整边缘端目标检测模型。 5.根据权利要求4所述的基于目标检测算法的边缘端在位监测系统， 其特征在于， 所述 标注的格式包括但不限于VOC格式和COCO格式； 所述硬件包括但不限于Jeston  Nano、 RK3399Pro开发板和树莓派； 所述目标检测算法具体为YOLOv3和S SD。 6.根据权利要求1所述的基于目标检测算法的边缘端在位监测系统， 其特征在于， 所述 无线通信技术包括但不限于WIFI、 4G和 5G； 所述管理平 台用于接收图像检测结果和货物类 别识别结果， 并根据其进行业 务处理。权　利　要　求　书 1/1 页 2 CN 114550019 A 2基于目标 检测算法的边缘端在位监测系统 技术领域 [0001]本发明涉及物流设备技术领域， 尤其涉及基于目标检测算法的边缘端在位监测系 统。 背景技术 [0002]经检索， 中国专利号CN108750509A公开了一种基于AGV小车的货位检测方法及AGV 小车， 该发明通过传感器对货位的当前情况进 行检测， 虽然减少了AGV小 车在取放物料时的 误操作， 但该发明只能检测出货位上有 无货物， 并不能检测出货物的类别， 进而 无法辅助货 物管理平台进行实时的货物监测管理； AGV(Auto mated Guided Vehicle， 简称AGV)小车， 是 指装备有自动导引装置， 能够沿规定的导引路径自动行驶， 具有多种自动移载功能的运输 车， 目前， 随着电子技术的发展， AGV的应用范围在不断扩展， 且其在物 流系统方面的应用最 为广泛， 但现有AGV小 车的功能相对 单一， 仅仅只能实现物 流运输功能； 在实际物 流仓库中， 由于货物数量庞大且货物流转频繁， 因而需要对货架各仓位上的产品情况进行实时了解； 但现有方法大多通过人工巡检方式实现， 不仅费时费力， 还容易出错； 所以， 如何将AGV小 车 与目标检测系统相结合应用到仓位的检测和识别成为当下重要研究课题； 因此， 发明出基 于目标检测算法的边 缘端在位 监测系统变得 尤为重要； [0003]现有的在位监测系统只能检测出货位上有无货物， 并不能检测出货物的类别， 进 而无法辅助货物管理平台进行实时的货物监测管理； 为此， 我们提出基于目标检测 算法的 边缘端在位 监测系统。 发明内容 [0004]本发明的目的是为了解决现有技术中存在的缺陷， 而提出的基于目标检测算法的 边缘端在位 监测系统。 [0005]为了实现上述目的， 本发明采用了如下技 术方案： [0006]基于目标检测算法的边 缘端在位 监测系统， 包括智能在位检测模块和管理平台； [0007]其中， 所述智能在位检测模块安装于AGV小车上， 其包括边缘端设备、 图像采集单 元和电源 单元； 所述边缘端设备包括图像获取单元、 图像检测单元和货物识别单元； 所述智 能在位检测模块与管理平台通过 无线通信技 术进行远程 通信。 [0008]进一步地， 所述图像采集单元具体为摄像头， 用于在AGV小车的运行过程中对货架 上各仓位进行图像拍摄， 采集产品图像； 所述电源单 元用于对智能在位检测模块进行 供电。 [0009]进一步地， 所述图像获取单元用于获取所述图像采集单元采集到的产品图像； 所 述图像检测单元用于通过完整边缘端目标检测模型对产品图像进 行检测， 得到图像检测结 果， 所述图像检测结果包括两种情况： 一种为仓位上有货物， 另一种是仓位上无货物； 所述 货物识别单元用于通过完整边缘端目标检测模型对图像检测结果为有货物的产品图像进 行类别识别， 得到货物类别识别结果。 [0010]进一步地， 所述完整边 缘端目标检测模型的具体形成过程如下：说　明　书 1/4 页 3 CN 114550019 A 3