(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210362947.1 (22)申请日 2022.04.08 (71)申请人 安徽工业大学 地址 243002 安徽省马鞍山市花 山区湖东 路59号 (72)发明人 徐向荣　李永港　游天涯　李琦琦　 (74)专利代理 机构 安徽知问律师事务所 34134 专利代理师 侯晔 (51)Int.Cl. G06V 20/10(2022.01) G06V 10/44(2022.01) G06V 10/764(2022.01) G06V 10/82(2022.01) G06K 9/62(2022.01) G06N 3/04(2006.01)G06N 3/08(2006.01) A01D 46/30(2006.01) B25J 18/00(2006.01) (54)发明名称 一种基于改进SiamFC的水果自动化采摘方 法 (57)摘要 本发明公开了一种基于改进SiamFC的水果 自动化采摘方法， 涉及水果自动化采摘技术领 域。 本发明的一种基于改进SiamFC的水果自动化 采摘方法， 包括采集果树的视频， 制作训练集和 验证集； 构建基于改进版SiamFC的深度学习网络 模型； 设置训练过程的权重初始化、 超参数及优 化器； 将训练集输入构建的模型进行训练； 将验 证集输入到训练好的模型中进行检测。 通过将待 检测的果树视频输入到深度学习模 型进行推断， 以获得水果的位置、 种类以及置信度， 并反馈给 水果自动化采摘装置进行采摘操作， 避免出现人 工检测费时费力、 精确度不高的问题。 权利要求书2页 说明书5页 附图4页 CN 114648703 A 2022.06.21 CN 114648703 A 1.一种基于改进SiamFC的水果自动化采摘方法， 其特征在于： 通过将待检测的果树视 频输入到基于 改进版SiamFC的深度学习网络模型进行推断， 以获得水果的位置、 种类以及 置信度， 并反馈给 水果自动化采摘装置进行采摘操作， 具体包括如下步骤： 步骤一： 利用摄 像机采集检测果 树视频； 步骤二： 利用OpenCV库中的cv2.VideoCapture函数获取视频的每一帧图像； 步骤三： 利用步骤二得到的单帧图像制作数据集； 步骤四： 对SiamFC模型进行改进； 步骤五： 将步骤一中的数据集送入步骤四的改进版SiamFC模型进行训练， 以获得目标 水果的位置、 种类以及置信度； 步骤六： 将机械臂(10)外端设置的RGB ‑D相机(8)中获得的图像传入步骤五获得的模型 中进行预测， 获得 水果目标在像素坐标系中的坐标； 步骤七： 将像素坐标系坐标转 化为机械臂(10)外端设置的机 械爪(9)坐标系坐标； 步骤八： 利用机 械爪(9)进行采摘操作。 2.根据权利 要求1所述的一种基于改进SiamFC的水果自动化采摘方法， 其特征在于： 步 骤三中， 具体包括如下步骤： S31： 先制作三个文件夹： 分别命名为 “Annotations ”、“Data”、“ImageSets ”； 其中 “ImageSets”中存放步骤S2中获得的单帧图片数据集； S32： 利用Labelme工具对 “ImageSet s”文件夹中 的单帧图片中 的水果目标进行标注， 标 注的结果存放在 “Annonations”文件夹中。 3.根据权利 要求1所述的一种基于改进SiamFC的水果自动化采摘方法， 其特征在于： 步 骤四中， 具体包括如下步骤： S41： 将原SiamFC模型中的特 征提取网络AlexNet替换为ResNet； S42： 在其中加入注意力机制。 4.根据权利 要求1所述的一种基于改进SiamFC的水果自动化采摘方法， 其特征在于： 步 骤五中， 具体包括如下步骤： S51： 首先选取果树视频中的第一帧作为实例图像， 将其调整为127*127像素值大小， 用 z表示， 送往示例分支网络； S52： 在数据集中选取第一帧， 将其调整为255*255的像素， 用x表示， 送往搜索分支网 络； S53： 在分支网络和搜索分支网络中分别进行特征提取， 分别生成尺寸为6 ×6×128和 22×22×128的特征图 和 S54： 通过密集滑动窗口的移动， 使 和 做互相关操作， 每一次互相关操作会得到 一个相似度得分， 将其映射到score  map中， 最后取score  map中取值最大处为目标位置， 互 相关操作如下式所示： 式中： z表示实例图像， x表示待搜索图像； b1表示score map中取值的偏置项； “*”表示互 相关运算操作； S55： 网络的损失函数采用l ogistic损失函数：权　利　要　求　书 1/2 页 2 CN 114648703 A 2l(y,v)＝ log(1+exp( ‑yv))， 式中： y∈{ ‑1,+1}， 表示目标的正负标签值； v表示实例图像和搜索图像上进行互相关 操作得到的相似度得分。 5.根据权利 要求4所述的一种基于改进SiamFC的水果自动化采摘方法， 其特征在于： 步 骤S55中， 实例图像和样本图像在匹配过程中产生的所有误差如下式所示： 式中： |D|表示score  map的大小； u表示score  map中的某一位置的值； y[u]表示第u个 滑动窗口的真实值， v[u]表示第u个滑动窗口映射在score  map中的得分值； y[u]的值由下 式表示： 式中： k为score  map经过网格之后缩小的倍数； c表示score  map中目标的中心点； u表 示score map的所有位置； | |u‑c||表示u与c之间的欧氏距离； R表示距离的阈值。 6.根据权利 要求1所述的一种基于改进SiamFC的水果自动化采摘方法， 其特征在于： 步 骤五中， 训练过程采用随机梯度下降法， 如下式所示： 式中： θ表示网络参数。 7.根据权利 要求1所述的一种基于改进SiamFC的水果自动化采摘方法， 其特征在于： 步 骤七中， 具体包括如下步骤： S71： 利用张正友标定法对RGB ‑D相机(8)进行 标定， 获得相机的内参、 外参系数； S72： 将RGB ‑D相机(8)坐标系的坐标转 化为机械爪(9)末端的坐标； S73： 将机 械爪(9)末端的坐标转 化为机械臂(10)的关节坐标。 8.根据权利 要求1至7任一所述的一种基于改进SiamFC的水果自动化采摘方法， 其特征 在于： 所述水果 自动化采摘装置包括与基准固定的第一关节(1)， 所述第一关节(1)上通过 基座(2)活动安装有若干组机械臂(10)， 相邻 所述机械臂(10)之间通过依次设置的第二关 节(3)、 第三关节(4)、 第四关节(5)、 第五关节(6)和第六关节(7)相连接， 以形成六个旋转关 节； 所述机械臂(10)上远离第六关节(7)的外端设置有机械爪(9)， 所述机械爪(9)上方设置 有RGB‑D相机(8)。权　利　要　求　书 2/2 页 3 CN 114648703 A 3