(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210398225.1 (22)申请日 2022.04.15 (71)申请人 河北农业大 学 地址 071001 河北省保定市莲池区灵雨寺 街289号河北农业大 学 (72)发明人 张立杰　周舒骅　李娜　张延强　 高笑　 (51)Int.Cl. G06V 20/68(2022.01) G06V 10/22(2022.01) G06V 10/26(2022.01) G06V 10/34(2022.01) G06V 10/44(2022.01) G06V 10/75(2022.01) G06V 10/774(2022.01) G06V 10/82(2022.01)G06K 9/62(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 一种基于双目视 觉的苹果分级方法 (57)摘要 本发明公开了一种基于双目视觉的苹果分 级方法， 包括以下步骤： S1： 使用双目摄像头获取 苹果图像； S2： 将双目摄像头获取的苹果图像分 割为左目图像与右目图像； S3： 将左目图像输入 目标识别卷积神经网络， 识别左目图像中所有的 苹果； S4： 通过卷积神经网络识别框提取苹果图 像； S5： 将识别框中心点通过双 目立体匹配算法 计算得到苹果的三维位置坐标； S6： 将提取到的 苹果图像进行预处理， 去除无用的 图像部分； S7： 将预处理后的图像按直径大小与果形系数进行 分级； S8： 将苹果的位置以及对应的等级发送给 抓取装置结束分级。 权利要求书2页 说明书4页 附图4页 CN 114677675 A 2022.06.28 CN 114677675 A 1.一种基于双目视 觉的苹果分级方法， 其特 征在于， 包括以下步骤： S1： 使用双目摄 像头获取苹果图像； S2： 将双目摄 像头获取的苹果图像分割为左目图像与右目图像； S3： 将左目图像输入目标识别卷积神经网络， 识别 左目图像中所有的苹果； S4： 通过卷积神经网络识别框提取苹果图像； S5： 将识别框中心点 通过双目立体匹配算法计算得到苹果的三维位置坐标； S6： 将提取到的苹果图像进行 预处理， 去除无用的图像部分； S7： 将预处 理后的图像按直径大小与果形系数进行分级； S8： 将苹果的位置以及对应的等级发送给抓取装置结束分级。 2.根据权利要求1所述的一种基于双目视觉的苹果分级方法， 其特征在于， 所述将左目 图像输入目标识别卷积神经网络， 识别左目 图像中所有的苹 果， 具体步骤为： 将左目 图像输 入到预先训练好的Mobile ‑SSD卷积神经网络， 识别左目图像中所包含的所有苹果所在区 域。 3.根据权利要求1所述的一种基于双目视觉的苹果分级方法， 其特征在于， 所述通过卷 积神经网络识别框提取苹果图像具体步骤为： 利用Mobile ‑SSD目标检测神经网络关键区 域， 并通过剪 裁得到关键区域图像； 将关键区域图像向外等距扩充三个 像素作为分级所需苹果图像； 其中， 所述的关键区域 为左目图像中苹果所在区域。 4.根据权利要求1所述的一种基于双目视觉的苹果分级方法， 其特征在于， 所述的将识 别框中心点通过双目立体匹配算法计算得到苹果的三维位置坐标， 具体步骤为： 将卷积神 经网络识别框左下角与右上角像素坐标做差， 得到识别框坐标的中心像素坐标； 将中心点 像素坐标通过双目立体匹配算法得到中心点实际三维坐标作为苹果 位置坐标。 5.根据权利要求1所述的一种基于双目视觉的苹果分级方法， 其特征在于， 所述的将提 取到的苹果图像进行 预处理， 去除无用的图像部分， 具体过程 为： S601： 将提取到的苹果图像进行 滤波处理； S602： 将滤波处 理后的图像二 值化； S603： 将二值化处理后的图像进行 形态学处 理； S604： 提取形态学处 理后二值化图像中的所有轮廓； S605： 删除苹果轮廓外的多余轮廓并保留有用轮廓。 6.根据权利要求5所述的一种基于双目视觉的苹果分级方法， 其特征在于， 苹果图像的 滤波处理具体步骤为， 首先将原始图像通过卷积核 大小为3x3的二 维卷积进 行卷积处理， 然 后将卷积处 理后的图像进行均值滤波， 最后提取 出均值滤波后图像的R通道图像； 其中， R通道是指图像在RGB色彩空间中的红色通道。 7.根据权利要求5所述的一种基于双目视觉的苹果分级方法， 其特征在于， 将二值化处 理后的图像进 行形态学 处理具体步骤为， 通过腐蚀处理将二值化后的图像白色轮廓向内部 缩小3个像素。 8.根据权利要求5所述的一种基于双目视觉的苹果分级方法， 其特征在于， 所述删除苹 果轮廓外的多余轮廓， 具体步骤为： 检测形态学处 理后的图像中所有的轮廓；权　利　要　求　书 1/2 页 2 CN 114677675 A 2筛选出轮廓中最大的轮廓进行保留； 其中， 进行 形态学处 理的目的是为了将互相接触的苹果图像分开。 9.根据权利要求1所述的一种基于双目视觉的苹果分级方法， 其特征在于， 所述将预处 理后的图像按直径大小与果形系数进行分级， 具体过程 为： S701： 通过最小外 接圆确定苹果 直径； S702： 通过双目摄 像头获取苹果纵径； S703： 通过苹果 直径与纵径计算苹果的果形系数； S704： 通过苹果 直径与果形系数对苹果进行分级。 10.根据权利要求8所述的一种基于双目视觉的苹果分级方法， 其特征在于， 所述通过 最小外接圆确定苹果 直径， 其具体过程 为： 将保留的轮廓进行最小外接圆拟合得到轮廓的外接圆， 并将最小外接圆直径作为像素 直径； 获取最小外 接圆的像素直径并带入拟合曲线得到真实直径作为苹果的直径； 其中拟合曲线为图像中像素直径与实际直径的函数关系， 通过 标定获得； 具体标定过程为， 通过30个苹果的真实直径与对应像素直径通过最小二乘法拟合得到 像素直径与实际直径的函数关系。 11.根据权利要求8所述的一种基于双目视觉的苹果分级方法， 其特征在于， 所述通过 双目摄像头获取苹果纵径， 其具体步骤为： 将左目与右目图像同时输入双目立体匹配算法， 得到深度图； 通过苹果图像对应位置的深度最小值与平台深度值做差， 得到苹果的纵径； 使用苹果 直径与苹果纵径的比值作为苹果的果形系数。权　利　要　求　书 2/2 页 3 CN 114677675 A 3