(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210668357.1 (22)申请日 2022.06.14 (71)申请人 广东天太 机器人有限公司 地址 528322 广东省佛山市顺德区大良10 5 国道大墩段 （5-1号地块） 六号综合楼 三层 （广珠公路红岗路段23号之9） (72)发明人 吴凌云　吴志诚　陈志满　 (74)专利代理 机构 佛山市禾才知识产权代理有 限公司 4 4379 专利代理师 刘羽波　陈嘉琦 (51)Int.Cl. G06T 7/73(2017.01) G06V 10/44(2022.01) G06V 10/75(2022.01) (54)发明名称 一种基于2d图像识别的模板姿态修正方法 及系统 (57)摘要 本发明的目的在于提出一种基于2d图像识 别的模板姿态修正方法及系统。 其中一种基于2d 图像识别的模板姿态修正方法， 包括以下步骤： 步骤S1： 对于与模板相似度达到阈值的目标图像 进行提取， 并获取目标图像的第一识别特征点， 将目标图像以及第一识别特征点的位置进保存； 步骤S2： 获取模板中第二识别特征点， 并与第一 识别特征点进行关联； 步骤S3： 获取关联后的第 一识别特征点与第二识别特征点之间的距离， 若 满足距离阈值要求， 则获取满足距离阈值第一识 别特征的数量， 并判断数量是否满足数量阈值， 若满足， 则通过变化矩阵修正模板的位姿， 使模 板的位姿向目标图像的位姿靠拢， 为后续操作提 供精准的特殊 点， 提高机 械臂的操作精度。 权利要求书3页 说明书7页 附图2页 CN 115063483 A 2022.09.16 CN 115063483 A 1.一种基于2d图像识别的模板姿态修 正方法， 其特 征在于： 包括以下步骤： 步骤S1： 对于与模板相似度达到阈值的目标图像进行提取， 并获取目标图像的第一识 别特征点， 将目标图像以及第一识别特 征点的位置进保存； 步骤S2： 获取模板中第二识别特 征点， 并与第一识别特 征点进行关联； 步骤S3： 获取关联后的第一识别特征点与第二识别特征点之间的距离， 并判断相关联 的第一识别特征点与第二识别特征点之间的距离是否满足距离阈值， 若满足， 则获取满足 距离阈值第一识别特征的数量， 并判断数量是否满足数量阈值， 若满足， 则通过变化矩阵修 正所述模板的位姿， 使模板的位姿向所述目标图像的位姿靠 拢。 2.根据权利要求1所述的一种基于2d图像识别的模板姿态修正方法， 其特征在于： 所述 步骤S1的具体步骤如下： 步骤S11： 通过Can ny算子收集目标图像的边 缘点集； 步骤S12： 对边缘点集进行二元二次多项式拟合， 通过 facet模型求解二元二次多项式， 得到Hessian矩阵； 步骤S13： 对Hessian矩阵求解到边缘点集的特征值和特征向量， 在通过泰勒展开式对 特征值进行求 导， 得出边缘点集的亚像素， 通过亚像素对目标图像进行提取。 3.根据权利要求1所述的一种基于2d图像识别的模板姿态修正方法， 其特征在于： 所述 步骤S3中获取关联后的第一识别特 征点与第二识别特 征点之间的距离的步骤如下： 获取第一识别特征点的切线， 对第一识别特征点的切线做垂线， 该垂线连接所述第二 识别特征点， 计算所述垂线的长度， 所述垂线的长度为所述第一识别特征点与第二识别特 征点之间的距离 。 4.根据权利要求1所述的一种基于2d图像识别的模板姿态修正方法， 其特征在于： 变化 矩阵包括平移矩阵以及旋转矩阵， 其中步骤S 3中通过变化矩阵修改所述模板的位姿的步骤 如下： 步骤S31： 通过平移矩阵以及旋转矩阵对模板进行的位置修正方法如下， 目标函数如下 公式一所示： 其中R为旋转矩阵， 为平移矩阵， qi和pi分别为相关联 的第一识别特 征点与第二识别特 征点的坐标， ni为特征向量， i 为大于1的自然 整数； 步骤S32： 对偏转的角度r取最小， 所述旋转矩阵R获得最小值， 最小值的旋转矩阵R如 下 公式二所示： 将最小值的旋转矩阵R代入目标函数中获取最小的目标函数， 最小的目标函数公式三 如下： 其中ci＝pi×ni； 对公式三求偏导， 并转化为线型方程求出最小偏转的角度r、 最小的水平偏移量x和最权　利　要　求　书 1/3 页 2 CN 115063483 A 2小垂直偏移量y， 其过程如下： 偏导公式四如下： 转化为线型方程求出最小偏转的角度r、 最小的水平偏移量x和最小垂直偏移量y的过 程如下： 5.根据权利要求1所述的一种基于2d图像识别的模板姿态修正方法， 其特征在于： 还包 括步骤S4， 所述 步骤S4如下： 获取当前模板位姿的修改次数， 并判断修改次数是否大于次数阈值， 若小于次数阈值， 则使用上一次变化矩阵对变化矩阵进 行更新， 使用更新后的变化矩阵再次对模板的位姿进 行修正， 重复步骤3， 直到修改次数大于次数阈值或满足距离阈值第一识别特征的数量不满 足数量阈值， 不再对 模板进行修 正。 6.一种基于2d图像识别的模板姿态修正系统， 使用权利要求1～5任一项所述一种基于 2d图像识别的模板姿态修正方法， 其特征在于， 包括： 目标图像提取模块、 第一识别特征点 提取模块、 第二特 征点提取模块、 距离阈值判断模块、 数量判断模块和模板修 正模块； 目标图像提取模块用于在图像中将所述目标图像提取 出来； 所述第一识别特 征点提取模块用于提取目标图像中的识别特 征； 所述第二识别特 征点提取模块用于提取模板中的识别特 征； 距离阈值判断模块用于判断关联的第一识别特征点与第二识别特征点之间的距离是 否满足距离阈值； 所述数量判断模块用于取满足距离 阈值第一识别特征的数量， 并判断满足距离阈值第 一识别特 征的数量是否满足数量阈值； 所述模板修正模块用于通过变化矩阵修正所述模板的位姿， 使模板向所述目标图像靠 拢。 7.根据权利要求6所述的一种基于2d图像识别的模板姿态修正系统， 奇特在于： 所述目 标图像提取模块包括 边缘点集获取子模块、 边 缘点集运输子模块以及亚像素提取模块； 所述边缘点集获取子模块用于通过Can ny算子收集目标图像的边 缘点集； 所述边缘点集运输子模块用于对边缘点集进行二元二次多项式拟合， 通过facet模型 求解二元二次多 项式， 得到 Hessian矩阵； 所述亚像素提取模块用于对Hessian矩阵求解到边缘点集的特征值和特征向量， 在通 过泰勒展开式对特征值进行求导， 得出边缘点集的亚像素， 通过亚像素对目标图像进行提权　利　要　求　书 2/3 页 3 CN 115063483 A 3