(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210785883.6 (22)申请日 2022.07.04 (71)申请人 泉州装备制造 研究所 地址 362000 福建省泉州市台商投资区洛 阳镇上浦村吉贝51 1号 (72)发明人 李琦铭　杨进兴　程靖航　李俊　 (74)专利代理 机构 泉州市文华专利代理有限公 司 35205 专利代理师 陈雪莹 (51)Int.Cl. G06T 7/00(2017.01) G06V 10/44(2022.01) G06V 10/32(2022.01) G06V 10/82(2022.01) G06N 3/04(2006.01)G06N 3/08(2006.01) (54)发明名称 一种基于Tran sformer神经网络的焊缝点位 置提取方法 (57)摘要 本发明提供一种基于Transformer神经网络 的焊缝点位置提取方法， 所述方法包括： 采集焊 缝图片作为训练样本， 对训练样 本进行特征点提 取； 获取特征点的坐标信息， 并进行归一化处理； 将处理后的数据输入到训练网络中， 输出训练结 果， 将训练结果与真实值进行比较， 输出并保存 最优训练参数； 将所述最优训练参数输入到训练 网络中， 得到最终的焊缝网络模型； 采集待检测 的焊缝图片， 进行特征点提取与数据处理之后， 输入到最终的焊缝网络模型， 得到待检测的焊缝 图片的焊缝点坐标信息； 将获取到的焊缝点坐标 信息输出给焊接机器人， 通过焊接机器人执行自 动化焊接操作。 本发明提高了焊缝点位置提取的 精度和效率， 使其满足机器人焊接的实时性需求 和相关工业 性标准。 权利要求书3页 说明书6页 附图3页 CN 115018819 A 2022.09.06 CN 115018819 A 1.一种基于Transformer神经网络的焊缝点位置提取方法， 其特征在于： 包括如下步 骤： 步骤1、 采集焊缝图片作为训练样本， 对训练样本进行特征点提取， 所述特征点包括焊 缝点和非焊缝点； 步骤2、 获取 特征点的坐标信息， 并进行归一 化处理； 步骤3、 将处理后的数据输入到训练网络中， 输出训练结果， 将训练结果与真实值进行 比较， 输出并保存最优训练参数； 步骤4、 将所述 最优训练参数输入到训练网络中， 得到最终的焊缝网络模型； 步骤5、 采集待检测的焊缝图片， 进行特征点提取与数据处理之后， 输入到最终的焊缝 网络模型， 得到待检测的焊缝图片的焊缝点 坐标信息； 步骤6、 将 获取到的焊缝点坐标信 息输出给焊接机器人， 通过焊接机器人执行自动化焊 接操作。 2.根据权利要求1所述的方法， 其特 征在于： 所述 步骤1具体包括： 将工业相机的IP地址将工业相机与终端进行通信连接， 通过工业相机采集一系列的焊 缝图片作为训练样本； 对每一训练样本通过特征提取算法Canny算子获取焊缝的特征点， 所述特征点包括焊 缝点和非焊缝点， 将其中的焊缝点标为 正样本， 非焊缝点标为负 样本。 3.根据权利要求1所述的方法， 其特征在于： 所述步骤2具体包括： 获取特征点的坐标信 息， 特征点数据维度为N ×2， N表示N个点， 每个点的特征维度为2， 值为提取出的特征点的坐 标值X(s， t)， s表示每张图片同一坐标系下的横坐标值， t表示每张图片同一坐标系下的纵 坐标值， 对得到的焊缝点的位置数据进行归一 化处理。 4.根据权利要求1所述的方法， 其特 征在于： 所述 步骤3具体包括： 步骤31、 预先定义焊缝点标签为1， 非焊缝点标签为0， 将每张图焊缝特征点的坐标跟其 对应的标签进行一 一对应之后， 标签是N ×1的格式， 表示 N个点的真实标签； 步骤32、 把处理后的特征点数据N ×2的矩阵输入到训练网络中， 所述训练网络为 Transformer神经网络； 步骤33、 利用Transformer神经网络的编码部分学习全局点的特征信息。 给每个特征信 息进行编码； 步骤34、 将编码结果、 已经得到的焊缝点标签、 非焊缝点标签输入到Transformer解码 部分， 一起进 行训练， 得到矩阵解码、 焊缝点类别、 非焊缝点类别， 然后通过运算得到提纯后 的焊缝信息， 最后将焊缝信息还原到原 始数据大小， 输出 预测的类别 信息； 步骤35、 根据输出预测的类别信息与真实值进行比较， 计算误差反向传播， 更新网络参 数， 直至网络 到达收敛状态时保存最优训练参数。 5.根据权利要求 4所述的方法， 其特 征在于： 所述 步骤33具体包括： 步骤331、 将每个焊缝 图的N个特征点的坐标值X进行拆分， 拆分成N个小块向量， 并将N 个小块向量的X(s， t)横纵2个维度嵌入到128维， 用高维向量a表 示， 每个a的维度为1 ×128， A＝[a1， a2，…， an]表示N个输入信息的集合转化成N ×128的矩阵， 将a分别跟三个不同的向 量WQ,WK,,WV相乘， 得到Q,K,V三个向量的初始 表示： Q＝a×WQ；权　利　要　求　书 1/3 页 2 CN 115018819 A 2K＝a×WK； V＝a×WV； 其中， WQ、 WK、 WV表示三个网络学习的参数， 维度等于a的转置； 步骤332、 将Q,K,V输入到多头注意力 模块， 此模块是将网络分为多个头， 形成多个子空 间， 让网络去关注不同层面的信息， 得到多个层面的特 征信息； 步骤333、 将多个层面的特征信息输入到残差和层标准化层， 残差连接是把上一层的输 入和上一层的输出加起 来， 层标准 化对每一层做标准 化； 步骤334、 最后输入到前馈网络+残差和层标准化中， 前馈网络为简单两层线性映射再 经过一个激活函数 的运算， 再经残差和层标准化层处理完成网络编码， 为每个特征点信息 进行编码。 6.根据权利要求5所述的方法， 其特 征在于： 所述 步骤332具体为： 将得到的Q,K,V输入到线性层， 进行的运 算如下： i＝1,2，…， 8； 其中， 表示第i个头中Q,K,V各自的权重参数， Qi,Ki,Vi表示第i个头线性层 的输出； 进入到缩放 点积注意力层， 进行运 算如下： headi＝Attention(Qi,Ki,Ki)； Softmax在这里是一个计算分数的函数， Attention(Qi,Ki,Ki)是其计算结果； headi表示 第i个头在Scaled  Dot‑Product Attention层的输出； 进行拼接层和线性层的计算： Multi‑Head(Q,K,V)＝Co ncat(head1,...,headh)W0； Concat表示将h个头的结果进行合并拼接， W0表示多头注意力 最后一个线性层的权重， Multi‑Head(Q,K,V)为整个多个注意力的输出， 即多层面的特 征信息。 7.根据权利要求4所述的方法， 其特征在于： 所述Transformer解码部分中具体网络模 块跟网络编码部 分中一样， 同时加入焊缝点和非焊缝点的标签信息， 得到类别的编码信息， 类别的编码信息跟Transformer解码部分的解码结果进行点乘运算， 得到N个类别信息， 其 维度为N×1， 并获取其中类别为焊缝点的坐标信息， 进而得到待检测的焊缝图片的焊缝轨 迹。 8.根据权利要求4所述的方法， 其特征在于： 采用交叉熵作为网络训练的误差函数， 定 义二分类下每 个类别预测得到的概 率为p和1‑p， 所述误差函数表达式为： 其中， Bi表示样本i的类别标签值， 焊缝点 为1， 非焊缝点 为0；权　利　要　求　书 2/3 页 3 CN 115018819 A 3