(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210378912.7 (22)申请日 2022.04.12 (71)申请人 华南农业大 学 地址 510640 广东省广州市天河区五山路 483号 (72)发明人 彭红星　陈虎　 (74)专利代理 机构 佛山市君创知识产权代理事 务所(普通 合伙) 44675 专利代理师 张燕玲 (51)Int.Cl. G01C 21/00(2006.01) G01C 21/20(2006.01) G06V 10/44(2022.01) G06V 10/764(2022.01) G06V 10/766(2022.01)G06V 10/82(2022.01) B25J 11/00(2006.01) B25J 9/16(2006.01) (54)发明名称 基于机器视觉的果实检测定位与果园地图 构建方法 (57)摘要 本发明公开了一种基于机器视觉的果实检 测定位与果园地图构建方法， 该方法利用采用搭 载有RGBD相机的移动机器人实现水果果实目标 检测、 计数以及采摘定位， 同时将视觉里程计信 息以及激光雷达的点云信息数据进行融合， 采用 非线性优化方法实现用于果园环境中的SLAM建 图与定位； 之后基于多线程编程方法将两个线程 融合， 从而实现应用于实际果园环 境中的移动机 器人实时果实检测定位与全局建图与自定位， 并 基于构建完成的果园语义地图实现移动机器人 在果园中的全局路径规划功能。 依靠该方法能够 实现智能化果园巡航、 智能化果园产量预估以及 采摘机器人果园环境感知等应用领域， 能够较好 地助力传统果园种植产业向自动化、 智能化方向 转型升级。 权利要求书3页 说明书12页 附图4页 CN 114689038 A 2022.07.01 CN 114689038 A 1.一种基于机器视觉的果实检测定位与果园地图构建方法， 其特征在于， 包括以下步 骤： S1， 在移动机器人平台上搭建基于深度相机的图像采集装置， 利用该装置进行动态果 园环境中的RGB彩色果实图像， 以及所述 果实图像中各位置的深度信息； S2， 将所述RGB彩色果实图像送入目标检测网络进行果实目标的个体检测， 输出果实目 标的检测结果； S3， 根据所述果实 目标的检测结果中的果实中心点距离移动机器人平台自身坐标系的 相对角度， 利用深度信息获取相 机视野内各个果实的相对距离， 从而在移动过程中实时更 新相机视野内检测出的各个果实相对于移动机器人平台的方位信息， 得到视野内果 实与移 动机器人之间的相对位姿； S4， 在S1‑S3执行的同时， 并行开始建图线程， 并建立系统SLAM运动模型； S5， 建立最小二乘法损失函数， 最小二乘优化目标为求取当损失函数取得最小值时机 器人位姿状态的最大似然估计； S6， 基于所述各个果实相对于移动机器人平台的方位信息来确定激光雷达扫描区域， 使用激光雷达扫描获得果实位置的点云信息并与深度信息进行配准从而获得复杂野外环 境下更加精准的融合深度信息； S7， 利用视野内果实与移动机器人之间的相对位姿， 来遍历并定位距离移动机器人最 近的果实目标， 根据所述融合深度信息获得该果实目标与机器人之间的相对位姿， 以该目 标与机器人之 间的相对旋转角度来确定下一时刻移动机器人运动与建图方向， 同时更新机 器人视觉里程计数据， 获取机器人在k时刻基于视觉里程计的相 机位姿与对应的果实 图像 观测的目标点， 在更新的过程中同步更新 最小二乘法损失函数； S8， 在机器人运动过程中确定果实图像的关键帧并计算ORB特征描述子进行不同果实 目标的匹配， 若果 实目标在之前从未被观测过， 则 在局部地图中加入 该果实， 并对果 实进行 标记； 机器人运动过程中将更多的地图点投影到关键帧中 以寻找更多的匹配点， 映射出机 器人在不同时刻处于不同位姿下的局部地图， 并输出构成该局部地图的一组关键帧； 在输出关键帧的同时， 并行启动所述的果实目标的个体检测过程， 利用线程锁机制在 不影响建图线程以及系统整体运行效率的前提下， 为每一个关键帧输出对应的果 实语义信 息以及检测框， 将含有果实语义信息的关键帧进行输出并融合成为具语义信息的局部地 图； S9， 建立迭代模型求解使所述最小二乘法损失函数最小化的位姿信息， 将该位姿信息 作为当前时刻的位姿输出， 并返回步骤S7， 从而获得机器人在运动过程中的位姿变化数据， 并利用位姿变化数据与各时刻所选取的关键 帧的变化过程生成移动机器人的局部运动轨 迹， 实现移动机器人自定位与果园建图功能。 2.根据权利要求1所述的基于机器视觉的果实检测定位与果园地图构建方法， 其特征 在于， 所述目标检测网络包括特 征提取模块以及多组相同的图像金字塔结构； 所述特征提取模块包括4层卷积单元C1‑C4来提取不同尺度的图像特征； 所述彩色果实 图像作为C1卷积单元的输入信息， C1卷积单元的输入特征图作为C2卷积单元的输入， C2卷积 单元输出的特 征图作为下一层的输入， 以此类 推； 所述图像金字塔结构包括第一组图像金字塔模块G1‑1‑G1‑5,第二组图像金字塔模块权　利　要　求　书 1/3 页 2 CN 114689038 A 2G2‑1‑G2‑5,第三组图像金字塔模块 G3‑1‑G3‑5和第四组图像金字塔模块 G4‑1‑G4‑5， 每一组特征金 字塔包含五层图像金字塔卷积层， 其中， 第一组图像金字塔模块中G1‑1卷积层的输入为特征 提取模块C1卷积单元的输出特征图， G1‑2‑G1‑4的输入为卷积单元C2‑C4的输出与上一卷积层 图像金字塔卷积层的输出相加的结果， G1‑5卷积层的输入为前一卷积层图像金字塔卷积层 C1‑4的输出； 后续三组图像金字塔模块中， 每个图像金字塔卷积层的输入为上一层的输出以 及前一组金字塔模块中对应层的输出进行融合后的结果。 3.根据权利要求2所述的基于机器视觉的果实检测定位与果园地图构建方法， 其特征 在于， 对于每个卷积单元C1‑C4， 其输入的彩色果实图像/特征图经过1x1的卷积核之后提取 出特征图并被平均分为5组， 记为特征图xi,i∈1,2,...,5； 将5组特征图xi分为以下三类不 同的处理方法： 将第一组特征图x1对应的数据传输线路K1不进行任何处理， 直接传递为第一组特征图 x1至传输线路的输出y1； 第二组特征图x2所属数据传输线路K2使用膨胀卷积的方法来增 大网络的感受野； 在该 线路中采用大小为3x3， 层数为三层的卷积核， 设置膨胀比例d为2组成膨胀卷积模块； 第二 组特征图x2经过该膨胀卷积模块计算后的结果被传递到 输出y2； 在最后三组特征图x3‑x5的数据传输线路K3‑K5中， 引入分组卷积模块进行特征图的计 算， 得到对应的输出y3‑y5。 4.根据权利要求3所述的基于机器视觉的果实检测定位与果园地图构建方法， 其特征 在于， 所述在 最后三组特征图x3‑x5的数据传输线路K3‑K5中， 引入分组卷积模块进行特征图 的计算， 得到对应的输出y3‑y5， 包括： 对于数据传输线路K3， 特征图x3进入到分组卷积模块后分别经过三个并行的通道， 在 每 个通道中依次经过1x1、 3x3、 1x1的卷积层 进行特征提取后， 三个通道输出进 行融合， 融合后 的结果与x3再次加和后， 作为该分组卷积模块GC模块的输出y3， 该输出y3与特征图x4的加和 作为数据传输线路K4中分组卷积模块GC的输入， 该分组卷积模块GC的输出y4与特征图x5的 加和作为数据传输线路K5中分组卷积模块GC的输入， 并通过 该模块输出y5。 5.根据权利要求3所述的基于机器视觉的果实检测定位与果园地图构建方法， 其特征 在于， 各数据传输线路的输出y1 ‑y5最终融合后经过1x1卷积层， 之后再使用CBAM注意力模 块， 并通过跨层连接的方式将每个卷积单元C1‑C4输入的彩色果实图像/特征图与CBAM模块 的输出特征信息相加融合作为该 卷积单元的输出。 6.根据权利要求2所述的基于机器视觉的果实检测定位与果园地图构建方法， 其特征 在于， 在四组图像金字塔模块之间设计了四种特 征连接通路： 横向连接通路： 对图像金字塔模块中相邻的同尺度特征进行连接， 并且在每一条横向 连接通路中使用1x1的卷积来将输入 特征进行投影并与目标层的特征进行融合， 具体为Gm‑n 与G(m+1)–n,m∈1,2,3； n∈1,2,3,4,5之间的15条 数据传输通路； 跨尺度的自上而下路径： 对图像金字塔模块中跨层级、 不同尺度的相邻的特征自上而 下进行连接； 在连接前， 首先使用最近邻插值法， 设置插值比例系数进行特征采样操作， 然 后将获取到的高层信息经过3x3卷积后提取到与相连接的底层特征相同维度的特征信息并 进行融合， 具体为G1‑5与G2‑4、 G2‑5与G3‑4、 G3‑5与G4‑4、 G2‑4与G3‑3、 G3‑4与G4‑3、 G2‑3与G3‑2、 G3‑3与 G4‑2、 G3‑2与G4‑1共8条数据传输通路；权　利　要　求　书 2/3 页 3 CN 114689038 A 3