(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210821549.1 (22)申请日 2022.07.12 (71)申请人 西北工业大 学 地址 710072 陕西省西安市友谊西路127号 (72)发明人 张杰　李伟博　蒋家祺　季宝宁　 余剑峰　 (74)专利代理 机构 西安匠星互智知识产权代理 有限公司 612 91 专利代理师 华金 (51)Int.Cl. G06V 10/44(2022.01) G06V 10/82(2022.01) G06V 10/75(2022.01) G06V 10/764(2022.01) G06V 10/774(2022.01)G06V 20/64(2022.01) (54)发明名称 一种基于模板轮廓学习的在装产品装配状 态识别方法 (57)摘要 本发明涉及一种基于模板轮廓学习的在装 产品装配状态识别方法， 首先建立产品数字模型 装配状态包围盒， 在获取到包围盒上的虚拟视点 后进行扩充； 利用数字模型和虚拟 视点完成了对 数字模型装配状态的投影， 构建特征描述符； 对 拍摄到的在装产品图像进行优化， 得到外形轮廓 完整、 特征清晰以及曝光度适宜的高质量在装产 品图像； 基于获取的数字模型特征描述符和在装 产品图像， 建立可用于卷积神经网络训练和测试 的数据集； 构造卷积神经网络， 并利用数字模型 特征描述符训练数据集对网络进行训练。 本方法 在无标识的情况下， 通过分析在装产品的实拍图 像实现； 同时实现了计算机对装配过程中在装产 品装配状态的自动识别， 能够 使产品装配作业效 率得到有效提升 。 权利要求书2页 说明书9页 附图4页 CN 115170827 A 2022.10.11 CN 115170827 A 1.一种基于模板轮廓学习的在装产品装配 状态识别方法， 其特 征在于， 包括以下步骤： 步骤1： 定义由n个零件构成的待装配产品表示为： A＝{part1,part2,…,partn}， 通过梳 理其产品装配流 程， 建立由n个表示 其装配状态的点云模型构成的装配序列SE； 其中， ASi表示产品处于第i个装配状态时的装配体点云模型， parti表示第i个装配状 态时所需安装的零件； 步骤2： 对装配体不同装配状态的数字模型建立外接正多面体， 获得的顶点和面中心点 的集合就是该装配状态下的初始 虚拟视点 集合； 步骤3： 对于每 个装配状态点云， 通过视图投影获取其模板特 征描述符； 步骤4： 为 突出表达在装产品外形 特征， 需要对 采集到的在装产品图像进行优化处 理； 步骤5： 采用卷积神经网络实现装配状态的识别； 步骤2得到的数字模型描述符作为训 练集； 步骤3得到的在装产品图像作为测试集， 其中输入层用于接 收图像输入， 在输入层后 再依次接入卷积层， 然后是激活函数层， 接着 接入最大池化层等后续网络层级； 输出层用于 输出识别结果信息， 即 分类层； 步骤6： 对建立的神经网络进行前向传播和反向传播的络训练， 其中前向传播求出的输 出值还需要与目标值进行误差的计算， 计算结果若不满足要求则进入反向传播过程， 若满 足则直接 输出结果， 需要设定反向传播的损失函数； 步骤7： 使用训练好的卷积神经网络对在装产品图像测试数据集进行识别， 输出对应的 识别结果。 2.如权利要求1所述的一种基于模板轮廓学习的在装产品装配状态识别方法， 其特征 在于， 所述 步骤2中包括以下子步骤： 步骤2.1： 建立数字模型各装配状态的外接正多面体， 使数字模型轮廓顶点近似位于外 接正多面体的面上； 步骤2.2： 虚拟视点扩充： 设CVi是第i个虚拟视点， CV_newij是在CVi基础上扩展得到的第 j个虚拟视点； 首先以CVi为原点， 通过添加不同权重的偏移量(Δx， Δy， Δz)得到该虚拟视 点下的CV_newij； 然后， 迭代n次将每个CVi扩展至n+1个虚拟视点； 最后， 遍历初始虚拟视点 集合中的所有视点， 得到用于构建数字模型描述符的扩充虚拟视点 集合。 3.如权利要求1所述的一种基于模板轮廓学习的在装产品装配状态识别方法， 其特征 在于， 所述 步骤3包括以下子步骤： 步骤3.1： 将投影平面统一旋转至三维坐标系中的xoy平面后再进行投影； o_model为装 配体模型的形心， 用(xo， yo， zo)表示该形心坐标； CVi为第i个虚拟视点， 用(xi， yi， zi)表示该 虚拟视点坐标将原始点云沿着方向L＝(xi‑x0,yi‑y0,zi‑z0)向xoy平面进行投影， 其中(xi, yi,zi)表示第i个虚拟视点的三维坐 标， (x0,y0,z0)表示装配点云的形心点三维坐 标； 投影后 的三维点云坐标表示 为： AS'i＝ASi*Rj 其中， 为第i个虚拟视点下将点云模型旋转至需求 位置的旋转矩阵， 可以表示 为：权　利　要　求　书 1/2 页 2 CN 115170827 A 2步骤S3.2： 构造一个 的二维直方图 并对其进行初始化， 使其中每个值为0， 其中m 表示维数； 步骤S3.3： 统计AS'i中每个点落在 中的位置， 并统计其 最大值： 其中idx， idy＝1,2,…,m为点(x,y,z)落在 中的位置索引， 按照以下 方式计算： 其中， [·]为向上取整函数； 步骤S3.4： 重复步骤S3.3， 直至遍历AS'i中的所有点， 并将 作为装配状态点云在 ASi在虚拟视点fpj方向的投影 轮廓描述符； 步骤S3.5： 重复步骤S3.1 ‑S3.4， 直至获取状态AS1‑ASn在虚拟视点fp1‑fpk下的所有描述 符 4.如权利要求1所述的一种基于模板轮廓学习的在装产品装配状态识别方法， 其特征 在于， 所述 步骤4括以下子步骤： 步骤4.1： 采用线性谱聚类图像分割算法将在装产品图像突出且移动至图像中心位置； 步骤4.2： 采用渐近非局部平均去噪算法减少图像中噪音； 步骤4.3： 采用辐照度算法融合 欠曝过曝图像得到曝光度适宜的优化图像。 5.如权利要求1所述的一种基于模板轮廓学习的在装产品装配状态识别方法， 其特征 在于， 所述 步骤5以下子步骤： 步骤5.1网络卷积层的主要作用就是对将上一层的输出最为输入， 进行卷积运算操作， 在获得计算结果之后再将卷积运算的结果输出至下一层， 这些结果同时也是下一层的输 入； 卷积核的大小g ×g需要设置成远小于卷积层输入矩阵的大小； 步骤5.2建立非线性激活函数层使卷积神经网络获得完成非线性任务的能力； 步骤5.3网络池化层， 利用最大池化操作来减小模型的大小， 同时提高卷积神经网络的 计算速度并保持输入图像的特 征鲁棒性； 步骤5.4分类层， 选用Softmax函数层进行分类。权　利　要　求　书 2/2 页 3 CN 115170827 A 3