(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211063998.0 (22)申请日 2022.09.01 (71)申请人 上海大学 地址 200444 上海市宝山区上 大路99号 (72)发明人 张健滔　翟彬梁　何斌　杨乐平　 刘士辉　 (74)专利代理 机构 上海上大专利事务所(普通 合伙) 3120 5 专利代理师 何文欣 (51)Int.Cl. G06V 20/10(2022.01) G06V 10/82(2022.01) G06V 10/764(2022.01) G06V 10/25(2022.01) G06T 17/00(2006.01)G06T 7/80(2017.01) G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 基于深度学习的番茄茎秆识别与三维重建 方法 (57)摘要 本发明提供一种基于深度学习的番茄茎秆 识别与三维重建方法， 包括： 利用相机在番茄温 室里从不同位置多角度采集番茄茎秆图像， 建立 番茄茎秆图像数据集； 进行彩色相机和深度相机 的参数标定； 利用MaskRCNN卷积神经网络训练得 到较好的识别效果， 并利用训练好的MaskRCNN模 型识别番茄彩色图像， 得到茎 秆段的最小外接矩 形的像素顶 点坐标； 利用深度图像和彩色图像匹 配， 获取基于相机坐标系的顶点坐标和中心三维 坐标， 并计算得到茎秆的半径r和高度h； 将基于 相机坐标的茎秆坐标转换为基于机器人基坐标 系表示， 并利用顶点坐标求解茎秆的空间姿态 RPY角度； 将空间姿态角度转换为ROS四元素， 并 根据番茄茎秆的半径r和高度h、 中心三维坐标完 成番茄茎秆障碍物的创建。 权利要求书2页 说明书6页 附图5页 CN 115439746 A 2022.12.06 CN 115439746 A 1.一种基于深度学习的番 茄茎秆识别与三维重建方法， 其特 征在于， 包括以下步骤： S1.利用相机在番茄温室里从不同位置多角度采集番茄茎秆图像， 兼顾不同光照条件、 叶子和果实遮挡条件下的番 茄茎秆图像采集， 建立番 茄茎秆图像数据集； S2.进行彩色相机和深度相机的参数 标定； S3.利用Mask  RCNN卷积神经网络训练得到较好的识别效果， 并利用训练好的Mask   RCNN模型识别番 茄彩色图像， 得到 茎秆段的最小外 接矩形的像素顶点 坐标； S4.利用深度图像和彩色图像匹配， 获取基于相机坐标系的顶点坐标和中心三维坐标， 并计算得到 茎秆的半径 r和高度h； S5.将基于相机坐标的茎秆坐标转换为基于机器人基坐标系表示， 并利用顶点坐标求 解茎秆的空间姿态RPY角度； S6.将空间姿态角度转换为ROS四元素， 并根据半径r和高度h、 中心三维坐标完成番茄 茎秆障碍物的创建。 2.根据权利要求1所述的基于深度学习的番茄茎秆识别与三维重建方法， 其特征在于， 步骤S1中所述建立番 茄茎秆图像数据集， 具体方法如下： S1‑1.番茄茎秆的茎秆长度和形状并不规则， 被果叶和果实遮挡的概率较大， 采集数据 时不但需要考虑光照条件， 还需要考虑各种干扰的情况； S1‑2.采用网格离散化标记法， 利用形状规则的四边形标记茎秆， 保证四边形包含的像 素点面积尽量和茎秆包含的像素点面积一致， 四边形 的长边沿着茎秆的生长方向， 短边与 茎秆截面平行， 标注过程中保持网格为四边形。 3.根据权利要求1所述的基于深度学习的番茄茎秆识别与三维重建方法， 其特征在于， 步骤S2中所述的彩色相机和深度相机参数 标定， 具体方法如下： S2‑1.通过彩色相机和深度相机拍摄不同姿态下标定棋盘格板的图片， 利用标定函数 findChessboard Corners获得对应角点像素坐标； S2‑2.通过标定函数calib rateCamera函数输入内角点坐标值， 获得深度相机的内参矩 阵； S2‑3.对相机进行配准， 获取物体的彩色和 深度信息， 利用深度图像和彩色图像与世界 坐标系的转换关系， 通过坐标变换， 实现深度图像和彩色图像对齐。 4.根据权利要求1所述的基于深度学习的番茄茎秆识别与三维重建方法， 其特征在于， 所述步骤S3利用训练好的Mask  RCNN模型识别番茄彩色图像， 得到茎秆段的最小外接矩形 的像素顶点 坐标； 具体方法如下： S3‑1.利用Mask  RCNN采取ResNet和特征金字塔结构， 以及Mask的预测分支用于目标物 体的轮廓定位； 将茎秆图像输入骨干网络， 提取图像特 征， 生成二维矩阵； S3‑2.采用RPN在二维矩阵上生成一定数量的感兴趣区域， 对候选区域进行二分类并修 正候选框位置， 部分候选 框通过非极大值抑制舍弃； S3‑3.剩余候选区域送入ROIAlign， 并将所有候选区域的二维矩阵都变成指定大小的 特征向量； S3‑4.对候选区域进行分类预测、 回归预测 和掩膜预测。 5.根据权利要求1所述的基于深度学习的番茄茎秆识别与三维重建方法， 其特征在于， 在步骤S4中， 茎秆段的轮廓矩的顶点像素坐标转换为基于相 机的空间三维坐标， 并计算得权　利　要　求　书 1/2 页 2 CN 115439746 A 2出中心三维坐标和茎秆半径 r和高度h， 具体实施方法如下： S4‑1.二维平面内轮廓矩的四个角点为Pi(xi,yi)， i＝1,2,3或4， 根据相邻的角点坐标 得到矩形的边长L； S4‑2.获取矩形的长边和短边后， 求得茎秆半径 r和高度h； S4‑3.取短边的中点 求解中心点的三维坐标。 6.根据权利要求1所述的基于深度学习的番茄茎秆识别与三维重建方法， 其特征在于， 在步骤S5中， 将基于相机坐标的茎秆坐标转换为基于机器人基坐标系表示， 并利用顶点坐 标求解茎秆的空间姿态RPY角度， 具体方法如下： S5‑1.通过相机坐标系和世界坐标系转换关系， 将基于相机的番茄茎秆中心坐标完成 转换为基于世界坐标系； S5‑2.通过求解轮廓矩绕各轴的转角得到轮廓矩的姿态， 取轮廓矩的短边中点A、 B， 将 两点投影到XY平面， 得到A ’(x1,y1,z1)和B’(x2,y2,z2)， 计算得到轮廓矩绕Z轴的转角α； 同 理， 得到绕Y轴的转角 β 和绕X轴的转角γ。 7.根据权利要求1所述的基于深度学习的番茄茎秆识别与三维重建方法， 其特征在于， 在步骤S6中所述的将空间姿态角度转换为ROS四元素， 并根据半径r和高度h、 中心 三维坐标 完成番茄茎秆障碍物的创建， 具体方法如下： ROS使用四元数描述物体的姿态， 四元数由一 个标量和一个三维向量组成； 利用四元数的性质将空间姿态角RPY转换为ROS四元数， 结合 半径r和高度h以及中心坐标x、 y、 z， 完成茎秆障碍物的重建。权　利　要　求　书 2/2 页 3 CN 115439746 A 3