(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210332127.8 (22)申请日 2022.03.30 (71)申请人 北京市真我本色科技有限公司 地址 100000 北京市延庆区中关村延庆园 东环路2号楼1480室 (72)发明人 吴曦　 (74)专利代理 机构 成都顶峰专利事务所(普通 合伙) 51224 专利代理师 王袁辉 (51)Int.Cl. G06T 7/70(2017.01) G06T 7/62(2017.01) G06T 7/90(2017.01) G06T 5/00(2006.01) G06V 10/26(2022.01)G06V 10/44(2022.01) G06V 10/82(2022.01) G06N 3/04(2006.01) (54)发明名称 榴莲鼓包范围的确定方法、 装置、 电子设备 及存储介质 (57)摘要 本发明公开了一种榴莲鼓包范围的确定方 法、 装置、 电子设备及存储介质， 本发明通过引入 鼓包标记物， 来标记榴莲上各个鼓包的中心点， 并获取带有鼓包标记物的榴莲的二维图像和三 维图像， 其中， 二维图像用于确定各个鼓包标记 物的像素坐标， 而三维图像则用于获取榴莲的点 云数据， 因此， 在中心点的二维坐标确定时， 基于 该二维坐标和点云数据， 确定出每个 鼓包中心点 的空间坐标； 最后， 以各个中心点的空间坐标为 中心， 进行区域扩展， 即可得到鼓包范围； 由此， 本发明实现了榴莲鼓包的数据化， 可以为榴莲后 续进行机械臂抓取、 3D图像识别、 点云重建、 定位 检测、 敲击声音和果肉体积模拟识别等功能提供 数据基础， 实现了榴莲质量分析工业化的数据基 础的建立。 权利要求书3页 说明书13页 附图3页 CN 114663499 A 2022.06.24 CN 114663499 A 1.一种榴莲鼓包范围的确定方法， 其特 征在于， 包括： 获取待识别榴莲的二维图像和第一三维图像， 其中， 所述二维图像和所述第一三维图 像中均包括至少一个鼓包标记物， 且所述至少一个鼓包标记物中的每个鼓包标记物用于表 征所述待识别榴莲上对应鼓包的中心点； 基于所述第一 三维图像， 得到所述待识别榴莲的点云数据； 根据所述 二维图像， 得 出所述每个鼓包标记 物在所述 二维图像中的像素坐标； 基于每个鼓包标记 物的像素坐标和所述 点云数据， 得 出每个鼓包标记 物的空间坐标； 根据所述每个鼓包标记物的空间坐标， 确定出所述待识别榴莲上每个鼓包标记物对应 鼓包的鼓包范围。 2.如权利要求1所述的方法， 其特征在于， 基于每个鼓包标记物的像素坐标和所述点云 数据， 得出每个鼓包标记 物的空间坐标， 包括： 对于所述至少一个鼓包标记物中的任一鼓包标记物， 在所述点云数据中， 提取出目标 点云数据， 其中， 所述 目标点云数据中的每个目标点云数据的三维坐标中的横纵坐标与任 一鼓包标记 物的像素坐标中的横纵坐标相同； 在所述目标点云数据对应的三维坐标中， 筛选出z轴坐标值最大的三维坐标， 作为所述 任一鼓包标记 物的空间坐标。 3.如权利要求1所述的方法， 其特征在于， 在确定出所述待识别榴莲上每个鼓包标记物 对应鼓包的鼓包范围后， 所述方法还 包括： 获取所述待识别榴莲的第二三维图像， 其中， 所述第二三维图像仅包括所述待识别榴 莲； 对所述第二三维图像进行鼓包识别， 得出所述待识别榴莲上每个鼓包的机器识别范 围； 判断每个鼓包的鼓包范围与对应的机器识别范围是否相同； 若是， 则输出每个鼓包的鼓包范围； 否则， 则输出鼓包范围错误提示信息， 以使工作人 员根据所述鼓包范围错误提示信息， 重新对所述待识别榴莲进行鼓包标记， 以得到新的二 维图像以及新的第一 三维图像。 4.如权利要求3所述的方法， 其特征在于， 对所述第二三维图像进行鼓包识别， 得出所 述待识别榴莲上每 个鼓包的机器识别范围， 包括： 对所述第二 三维图像进行曲面平 滑处理， 得到平 滑榴莲三维图像； 将所述平滑榴莲三维图像输入至鼓包识别模型中， 得到所述待识别榴莲上每个鼓包的 机器识别范围； 或 将所述平 滑榴莲三维图像， 划分为多个图像区域； 对于所述多个图像区域中的每个图像区域， 对所述每个图像区域进行特征点识别， 得 到每个图像区域的特 征点个数， 其中， 所述特 征点用于表征对应图像区域内的鼓包点； 基于每个图像区域的特 征点个数， 得到所述待识别榴莲上每 个鼓包的机器识别范围。 5.如权利要求4所述的方法， 其特征在于， 对所述每个图像区域进行特征点识别， 得到 每个图像区域的特 征点个数， 包括： a.对于每个图像区域中的任一点， 获取所述任一点的特征直线， 其中， 所述特征直线为 所述任一 点， 与所述任一 点的最相邻点之间的连线；权　利　要　求　书 1/3 页 2 CN 114663499 A 2b.获取每个图像区域中， 所述任一点的目标点， 并利用所述目标点组成目标面， 其中， 所述目标点 为包围所述任一 点的所有点； c.计算所述特 征直线与所述目标面的夹角， 得到特 征夹角； d.判断所述特 征夹角是否大于预设阈值； e.若是， 则将所述任一 点作为特 征点； 重复前述步骤a～e， 并在将每个图像区域中的所有点遍历完成后， 得到每个图像区域 的特征点个数； 相应的， 基于每个图像区域的特征点个数， 得到所述待识别榴莲上每个鼓包的机器识 别范围， 包括： 根据每个图像区域的特 征点个数， 计算每 个图像区域的特 征点概率分布值； 按照特征点概率分布值从大到小的顺序， 对每个图像区域进行排序， 将排序前n位的图 像区域作为所述待识别榴莲上每 个鼓包的机器识别范围， 其中， n 为正整数。 6.如权利要求4所述的方法， 其特征在于， 对所述第二三维图像进行曲面平滑处理， 得 到平滑榴莲三维图像， 包括： 将所述第二 三维图像进行区域划分， 划分为多个 榴莲莲身区域； 基于所述二维图像和所述第 二三维图像， 得出所述多个榴莲莲身区域中每个榴莲莲身 区域内榴莲刺的平均高度； 根据每个榴莲莲身区域内榴莲刺的平均高度， 调整所述每个榴莲莲身区域中所有榴莲 刺的高度， 以在调整完成后， 得到所述平 滑榴莲三维图像。 7.如权利要求6所述的方法， 其特征在于， 基于所述二维图像和所述第二三维图像， 得 出所述多个 榴莲莲身区域中每 个榴莲莲身区域内榴莲刺的平均高度， 包括： 基于所述二维图像， 得出每个榴莲莲身区域内第 一刺尖的像素坐标以及若干第 二刺尖 的像素坐标， 其中， 所述每个榴莲莲身区域内的第一刺尖为每个榴莲莲身区域内任一榴莲 刺的刺尖， 且每 个第二刺尖均为与所述任一榴莲刺的刺尖相邻的刺尖； 基于所述二维图像， 得到每个榴莲莲身区域内第一刺尖对应的第一刺根线， 以及每个 第二刺尖对应的第二刺根线， 其中， 所述第一刺根线为所述第一刺尖对应的所有刺根的连 线， 每个第二刺根线为每 个第二刺尖 对应的所有刺根的连线； 根据所述第二三维图像、 所述第一刺尖的像素坐标以及所述第二刺尖的像素坐标， 得 出每个榴莲莲身区域内第一刺尖的刺尖空间坐标和每 个第二刺尖的刺尖空间坐标； 计算每个榴莲莲身区域内第 一刺根线与每个第 二刺根线之间的交点坐标， 以及所述第 二刺根线中两两刺根线之 间的交点坐标， 以组成每个榴莲莲身区域的榴莲刺高度计算坐标 集； 基于每个榴莲莲身区域的榴莲刺高度计算坐标集、 所述第 一刺尖的刺尖空间坐标以及 每个第二刺尖的刺尖空间坐标， 得到每 个榴莲莲身区域内榴莲刺的平均高度。 8.一种榴莲鼓包范围的确定装置， 其特 征在于， 包括： 图像获取单元， 用于获取待识别榴莲的二维图像和第 一三维图像， 其中， 所述二维图像 和所述第一三维图像中均包括至少一个鼓包标记物， 且所述至少一个鼓包标记物中的每个 鼓包标记 物用于表征 所述待识别榴莲上对应鼓包的中心点； 点云数据获取 单元， 基于所述第一 三维图像， 得到所述待识别榴莲的点云数据；权　利　要　求　书 2/3 页 3 CN 114663499 A 3