(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210416195.2 (22)申请日 2022.04.20 (71)申请人 华南理工大 学 地址 510640 广东省广州市天河区五山路 381号 (72)发明人 康文雄　黄俊端　 (74)专利代理 机构 广州粤高专利商标代理有限 公司 44102 专利代理师 江裕强 (51)Int.Cl. G06V 40/14(2022.01) G06V 10/44(2022.01) G06V 10/764(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 一种基于Transformer的静脉认证方法 (57)摘要 本发明公开了一种基于Tran sformer的静脉 认证方法， 包括以下步骤： S1、 将静脉图像进行预 处理； S2、 将预处理后的静脉图像输入基于 Transformer的静脉认证模型进行特征提取， 输 出待认证的静脉图像的特征； S2、 将待认证的静 脉图像的特征与样本库里的静脉特征做相似度 度量， 大于设置的阈值时则认为认证成功。 本发 明将金字塔分层结构引入视觉Tran sformer模型 中， 不仅具有 参数量少、 计算速度快的优点， 还有 利于提取静脉图像的多层级特征， 从而使得提取 到的静脉 特征更具有表达力。 权利要求书2页 说明书5页 附图1页 CN 114863497 A 2022.08.05 CN 114863497 A 1.一种基于Transformer的静脉认证方法， 其特 征在于， 包括以下步骤： S1、 将静脉图像进行 预处理； S2、 将预处理后的静脉图像输入基于Transformer的静脉认证模型进行特征提取， 输出 待认证的静脉图像的特 征； S3、 将待认证的静脉图像的特征与样本库里的静脉特征做相似度度量， 大于设置的阈 值时则认为认证成功， 否则 则认为认证不成功。 2.根据权利要求1所述的一种基于Transformer的静脉认证方法， 其特征在于， 所述预 处理是将静脉图像平均分成多个小图块， 并以小图块的形式将其输入至基于Tr ansformer 的静脉认证模型。 3.根据权利要求1所述的一种基于Transformer的静脉认证方法， 其特征在于， 基于 Transformer的静脉认证模 型的特征提取包括三个阶段， 第一阶段包括两个VT模块， 第二阶 段和第三阶段分别包括一个VT模块； 每个VT模块的结构相 似， 输入维度、 图块数量、 输出维 度等参数不同； 在VT模块中， 静脉图像的图块首先经过位置编码生成器生成对应的位置编码。 位置编 码与输入的图块做叠加后输送给扩展性多层感知机进行编码， 每个图块被编码成三个特 征， 分别为第一特征Q、 第二特征K和第三特征V； 所有图块的Q、 K、 V特征再被送入多头注 意力 机制做进一步的特征提取； 多头自注意力机制输出的特征再经过线性层后送 给局部特征增 强前向传播网络做特征提取， 最后输出的图块特征经过深细结构的卷积神经网络层实现降 维； 静脉图像依次经 过四个VT模块后输出最终的静脉 特征。 4.根据权利要求1所述的一种基于Transformer的静脉认证方法， 其特征在于， 在基于 Transformer的静脉认证模型的训练过程中， 静脉图像经过三个阶段共四个VT  Block的编 码， 输出静脉 特征； 使用分类 器和两个损失进行监 督训练。 5.根据权利要求4所述的一种基于Transformer的静脉认证方法， 其特征在于， 所述两 个损失为中心损失和N LL损失。 6.根据权利要求4所述的一种基于Transformer的静脉认证方法， 其特征在于， 在基于 Transformer的静脉认证模 型的训练过程中， 所输出的静脉特征在 进入分类器时， 先对 特征 做随机丢弃50％信息量的处理； 最后在使用两个损失进 行监督训练， 从而增加训练难度、 提 高特征的表达能力。 7.根据权利要求4所述的一种基于Transformer的静脉认证方法， 其特征在于， 在基于 Transformer的静脉认证模 型的训练过程中， 静脉特征经过随机丢弃50％信息后， 经过线性 层将其映射到分类空间； 分类空间的维度即N LL损失的分类维度。 8.根据权利要求7所述的一种基于Transformer的静脉认证方法， 其特征在于， 在基于 Transformer的静脉认证模 型的训练过程中， 静脉特征经线性层被映射到 分类空间后， 再经 激活层做非线性映射处理； 从而将输出 的非线性映射处理结果输入到NLL损失和中心损失 进行监督训练。 9.根据权利要求3所述的一种基于Transformer的静脉认证方法， 其特征在于， 在基于 Transformer的静脉认证模型的特征提取过程中， 每个阶段的输入和 输出的图块特征数量 逐渐减少。权　利　要　求　书 1/2 页 2 CN 114863497 A 210.根据权利要求1～9任一项所述的一种基于Transformer的静脉认证方法， 其特征在 于， 样本库里的静脉特征是用户注册时经基于Transformer的静脉认证模 型提取得到， 所有 用户注册后保存下来的静脉 特征构成样本库。权　利　要　求　书 2/2 页 3 CN 114863497 A 3