(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210145378.5 (22)申请日 2022.02.17 (71)申请人 广东猛犸象智能机 器人制造有限公 司 地址 521000 广东省潮州市潮安区金石镇 古楼一村 头池片3号厂房 (72)发明人 许秋钿　郭少智　莫烁　许嘉瀚　 蔡树园　许灿祺　丁哲希　 (74)专利代理 机构 深圳市圳博友 邦专利代理事 务所(普通 合伙) 44600 专利代理师 郑志裕 (51)Int.Cl. G06V 10/44(2022.01) G06V 10/764(2022.01) G06V 10/82(2022.01)G06K 9/62(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01) B07C 5/342(2006.01) (54)发明名称 一种基于深度学习的凉果食品杂质挑拣方 法及系统 (57)摘要 本发明公开了一种基于深度学习的凉果食 品杂质挑拣方法及系统， 其特征在于： 包括视觉 检测子系统和杂质挑拣子系统： 所述视觉检测子 系统包括： 传送带、 工作台、 第一支架、 视觉相机、 光源及其控制器和微型工业电脑。 所述杂质挑拣 子系统包括： 并联机器人、 第二支架、 末端吸具、 通料管、 集料箱和涡轮抽风机。 本发明运用了并 联机器人、 视觉相机及光源、 末端除杂执行器及 搭载自主研发的神经网络模型生成软件与杂质 挑拣软件的PC系统， 结合ResNet101的分类模型 和BiSeNet的语义分割模型技术， 可以实现多种 杂质的识别与自动分拣的功能。 权利要求书1页 说明书5页 附图4页 CN 114445642 A 2022.05.06 CN 114445642 A 1.一种基于深度学习的凉果食品杂质挑拣系统， 其特征在于： 包括视觉检测子系统和 杂质挑拣子系统： 所述视觉检测子系统包括： 传送带、 工作台、 第一支架、 视觉相机、 光源及其控制器和微 型工业电脑； 所述传送带固定于所述工作台， 所述传动带通过电机驱动； 所述第一支架固定 于所述工作台， 并且所述传送带穿过所述第一支架； 所述视觉相 机架设在所述第一支架上 端， 并且位于传送带正上方； 所述光源共有四条， 环绕固定于所述支架中部， 光源位于传动 带正上方且位于 视觉相机的下 方； 所述杂质挑拣子系统包括： 并联机器人、 第二支架、 末端吸具、 通料管、 集料箱和涡轮抽 风机； 所述并联机器人固定于所述第二支架； 所述末端吸具固定于所述并联机器人上； 所述 通料管的两端分别连接所述末端吸具及集料箱； 所述涡轮抽风机连接所述集料箱； 所述末 端吸具和涡轮抽风机共同构成末端除杂执 行器。 2.根据权利要求1所述的一种基于深度 学习的凉果食 品杂质挑拣系统， 其特征在于： 所 述微型工业电脑通过TCP通讯与所述并联机器人建立连接， 输出信号指令控制所述视觉相 机和所述 光源控制器。 3.一种基于深度学习的凉果食品杂质挑拣方法， 应用于权利要求1 ‑2任意一项所述基 于深度学习的凉果食品杂质挑拣系统， 包括以下步骤： S01： 将待测凉果食品放置于所述传送带上， 程序根据编码器记录的传送带运动的距离 触发相机拍照， 从而自动运行视 觉程序； S02： 视觉程序自动运行开启后， 利用视觉相机在固定角度采集 图像， 获得待检测凉果 食品图像数据集； S03： 标注图像中杂质的轮廓， 利用颜色差异， 将不同种类杂质、 正常凉果食品及背景渲 染为不同颜色， 生成只包 含颜色信息的特 征图； S04： 将所述图像及特 征图划分为训练集、 验证集、 测试集； S05： 将所述训练集、 验证集及测试集输入到神经网络进行训练， 生成杂质检测模型； S06： 将待测图像分别输入所述生成的杂质检测模型及传统视觉程序， 分别输出颜色特 征图1和特 征图2， 经坐标矩阵换算， 从而获得杂质图像坐标信息1和2； S07： 将杂质图像坐标信息1和2经 过坐标转换后利用TCP通信传输 到并联机器人； S08： 并联机器人通过TCP/IP通讯得到的坐标信息控制末端除杂执行器移动到指定位 置， 进行杂质剔除。 4.根据权利要求3所述的一种基于深度 学习的凉果食 品杂质挑拣方法， 其特征在于： 所 述步骤S03中生成特征图之后， 沿随机角度对图像进行翻转， 并随机变换图像的亮度及大 小， 生成信息更丰富的数据集； 对所述数据集进行尺寸归一 化处理， 生成归一 化图像。 5.根据权利要求3所述的一种基于深度 学习的凉果食 品杂质挑拣方法， 其特征在于： 所 述步骤S05所述神经网络是由ResNet101分类模型及BiSeNet语义分割模型组成； 所述训练 涉及修改模型用到的学习率、 训练总步数和批次大小参数。 6.根据权利要求3所述的一种基于深度 学习的凉果食 品杂质挑拣方法， 其特征在于： 所 述步骤S06将所述生成的颜色特征图进行灰度化、 二值化、 膨胀及腐蚀处理， 再经过面积滤 波器处理， 提取轮廓信息； 获取包围所述轮廓的最小矩形， 将其中心坐标作为杂质坐标， 整 合为杂质坐标集后进行重复去除处 理， 最终得到杂质图像坐标信息1和2。权　利　要　求　书 1/1 页 2 CN 114445642 A 2一种基于深度学习的凉果食品杂质挑 拣方法及系统 技术领域 [0001]本发明属于视觉检测技术领域， 尤其涉及 一种基于深度学习的凉果食品杂质挑拣 方法及系统。 背景技术 [0002]随着现代化建设步伐的加快和国民经济持续高速发展， 我国越发注重农副凉果食 品加工业的自动化生产需求和产品安全质量的提高。 近年来， 大部分农副凉果食品加工企 业都引进了自动化食品加工技术， 但在实际生产过程中， 由于产品挑拣、 加工工艺等不可控 因素， 农副凉果食品不可避免存在遗留杂质、 质量不符合要求等问题。 目前， 凉果食品杂质 挑拣仍然以人工挑拣为主， 一方面， 传统人工挑拣劳动强度高、 工作量大， 容易受主观因素 影响而不能保持长期高效的挑拣效率， 同时人工肉眼辨别速度较慢， 导致流水线生产速度 不得不放慢， 制约工厂生产效率； 另一方面， 人工作业的不稳定， 容易导致食品卫生安全问 题与售后问题， 影响企业口碑。 [0003]当前传统的机器视 觉除杂技 术主要存在以下几个问题： [0004]1.传统机器视觉技术难以适应农副凉果食品加工业过程中产品数量大、 杂质种类 多、 杂质难以分辨识别的痛点； [0005]2.传统的图像处理技术将待检测的产品的三维图像 投影成二维图像时， 许多信息 会消失， 除此之外， 当前的技术尚未能很好地解决食品和食品、 食品和杂质之间相互覆盖的 问题； [0006]3.实时性问题， 其主要包含软实时和硬实时。 当前硬实时已随着硬件的不断发展 有了比较好的解决方案， 软实时主要通过算法来解决， 但在复杂的工作情况下， 会导致准确 性和鲁棒 性下降， 因而无法精确地得到食品杂质图像。 发明内容 [0007]本发明的目的在于提供一种基于深度学习的凉果食品杂质挑拣 方法及系统， 旨在 解决所述背景技 术中存在的问题。 为实现所述目的， 本发明采用的技 术方案是： [0008]一种基于深度学习的凉果食品杂质挑拣系统， 包括视觉检测子系统和杂质挑拣子 系统： [0009]所述视觉检测子系统包括： 传送带、 工作台、 第一支架、 视觉相机、 光源及其控制器 和微型工业电脑； 所述传送带固定于所述工作台， 所述传动带通过电机驱动； 所述第一支架 固定于所述工作台， 并且所述传送带穿过所述第一支架； 所述视觉相 机架设在所述第一支 架上端， 并且位于传送带正上方； 所述光源共有四条， 环绕固定于所述支架中部， 光源位于 传动带正上 方且位于 视觉相机的下 方。 [0010]所述杂质挑拣子系统包括： 并联机器人、 第二支架、 末端吸具、 通料管、 集料箱和涡 轮抽风机； 所述并联机器人固定于所述第二支架； 所述末端吸具固定于所述并联机器人上； 所述通料管 的两端分别连接所述末端吸具及集料箱； 所述涡轮抽风机连接所述集料箱； 所说　明　书 1/5 页 3 CN 114445642 A 3