(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210545026.9 (22)申请日 2022.05.19 (71)申请人 长春市大众物流装配有限责任公司 地址 130000 吉林省长 春市高新 开发区蔚 山路5555号 (72)发明人 曹文强　杨岳航　李研冰　凌剑勇　 姚凯男　叶超　王博　李正然　 (74)专利代理 机构 长春众邦菁华知识产权代理 有限公司 2 2214 专利代理师 朱红玲 (51)Int.Cl. G06V 20/00(2022.01) G06V 10/26(2022.01) G06V 10/44(2022.01) G06V 10/764(2022.01)G06V 10/82(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 基于多重神经网络的托盘识别和位姿估计 方法 (57)摘要 基于多重神经网络的托盘识别和位姿估计 方法及系统， 涉及多重神经网络应用技术领域， 解决现有方法对托盘的位姿估计精度低， 同时在 分割阶段中存在较多误差量 以及鲁棒性差等问 题， 该方法通过基于图像的托盘分割模块， 托盘 位置区域点 云获取模块， 托盘位姿粗估计模块和 托盘位姿精估计模块实现， 本发 明方法能够直接 估计托盘位姿六自由度， 传递给车辆控制系统， 克服了地面等干扰因素的影 响， 更准确的对托盘 进行位姿估计。 本发明方法在现有PointNet网络 的基础上， 增加了点云姿态估计的分支， 该姿态 分支输出托盘点云的偏航角； 加速了精准姿态估 计算法收敛， 提升了算法速度。 本方法取消了局 部特征提取网络中的T ‑Net模块以加强网络对点 云姿态角的敏感性。 权利要求书2页 说明书7页 附图3页 CN 114972968 A 2022.08.30 CN 114972968 A 1.基于多重神经网络的托盘识别和位姿估计方法， 其特 征是： 该方法由以下步骤实现： 步骤一、 基于图像的托盘分割； 步骤一一、 收集托盘图像， 所述图像包括姿态、 位置和环境光照； 采用人工标注的方法， 在图像中找出属于托盘的像素区域， 并将该区域生成托盘分割掩图， 设定托盘区域像素值 为1， 其他区域像素值 为0； 步骤一二、 采用训练后的UNet网络对步骤一 一获得的托盘图像进行 预测； 采用所述UNet网络对输入图像进行语义分割前， 采用最近邻插值的方法将图像尺寸进 行缩放， 当得到预测结果后将分割 结果以最近邻插值的方法放大到图像原始输入尺寸， 获 得UNet网络 输出经预测后的托盘的分割图像； 步骤二、 托盘位置区域 点云获取； 根据步骤一获得托盘的分割图像， 将所述分割图像的托盘区域对应的托盘点云提取出 来； 步骤三、 将步骤二提取的托盘区域点云送入改进PointNet网络进行推断， 获得托盘姿 态粗估计； 步骤三一、 对改进PointNet网络增加点云姿态估计的分支， 该姿态估计的分支用于输 出托盘点云的偏航角， 即托盘姿态角； 步骤三二、 采用分类 ‑残差的方法对预测角度进行编码， 获得点云姿态角度； 首先将托盘角度取值范围均匀地分成多个区间； 然后， 通过神经网络预测托盘角度落 在每个区间的概率和角度 残差； 选取概率最高的区间对应的最小角度作为托盘姿态预测初 值； 将托盘姿态初值与神经网络预测的角度残差相加， 获得完整的点云姿态角度； 步骤三三、 对所述改进PointNet网络进行训练， 然后采用训练后的PointNet网络进行 预测， 所述PointNet网络以带有环境噪声的点云作为输入， 对点云中每个点进行前背景评 分， 筛选出大于阈值的点， 实现托盘姿态粗估计； 步骤四、 对托盘位姿精估计； 首先根据托盘实际三维尺寸生成完整的托盘点云作为匹配模板， 然后将分割后的场景 托盘点云， 与所述匹配模板进 行配准， 获得两个点云坐标系之 间的刚体变换矩阵， 计算出托 盘在场景中的位置和姿态。 2.根据权利要求1所述的基于多重神经网络的托盘识别和位姿估计方法， 其特 征在于： 所述步骤二中， 托盘点云提取的方法为： 遍历点云中每个三维点， 将三维点投影到图像 上， 判断投影点是否在托盘区域， 保留投影到托盘区域的三 维点， 最后得到图像托盘区域对 应的点云。 3.根据权利要求1所述的基于多重神经网络的托盘识别和位姿估计方法， 其特 征在于： 所述步骤三三中， 对改进Po intNet网络进行训练的方法为： 步骤A、 数据集的建立； 改进PointNet网络需要从带标注的数据集中学习点云分割和姿态角估计， 采用人工标 注和仿真生成两种方法生成数据集， 并使用数据增强方法扩充训练数据； 步骤B、 采用Adam优化器对改进Po intNet网络进行训练。 4.根据权利要求3所述的基于多重神经网络的托盘识别和位姿估计方法， 其特 征在于： 采用人工标注的方法建立的数据集的过程 为：权　利　要　求　书 1/2 页 2 CN 114972968 A 2首先， 将激光雷达安装在AGV上， 将托盘摆放在AGV前不同位置上， 并不断调整姿态， 托 盘每进行一次调整就记录一次托盘点云以及托盘的姿态角； 托盘角度变化充满整个预测范 围， 托盘的位置放在激光雷达 视角内各个位置； 采用人工标注软件， 划出属于托盘的点云， 生成点云分割真值， 并与托盘姿态角真值结 合在一起生成标注文件。 采用仿真方法建立的数据集的过程 为： 首先， 根据托盘实际三维尺寸 生成完整的托盘点云数据， 并将点云数据姿态标准 化； 然后， 选取托盘前侧点云数据， 随机加入噪声和随机偏航角旋转， 生成用于训练的仿真 数据。 5.基于多重神经网络的托盘识别和位姿估计系统， 其特征是： 该系统用于实现权利要 求1‑4任意一项所述的基于多重神经网络的托盘识别和位姿估计方法； 该系统包括图像的 托盘分割模块， 托盘位置区域 点云获取模块， 托盘位姿粗估计模块和托盘位姿精估计模块； 所述图像的托盘分割模块用于获取托盘位置区域； 所述托盘位置区域点云获取模块根据所述图像的托盘分割模块分割获得的托盘位置 区域， 采用相机与雷达的外参矩阵， 变换获得托盘位置区域 点云； 所述托盘位姿粗估计模块采用改进PointNet对所述托盘位置区域点云获取模块中获 取的托盘区域 点云进行托盘姿态粗估计， 生成姿态粗估计结果； 所述托盘位姿精估计模块用于将所述托盘位姿粗估计模块中所得的粗估计结果， 作为 ICP算法初值， 进行托盘位姿精确估计， 得到托盘位姿六自由度结果， 传递给 车辆控制系统。权　利　要　求　书 2/2 页 3 CN 114972968 A 3