(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211314356.3 (22)申请日 2022.10.26 (71)申请人 南京航空航天大 学 地址 210016 江苏省南京市江宁区将军路 29号 (72)发明人 朱旗　辛光南　周宇泽　郑楚杭　 李胜荣　张道强　 (74)专利代理 机构 北京高沃 律师事务所 1 1569 专利代理师 贾瑞华 (51)Int.Cl. G06V 40/12(2022.01) G06V 10/764(2022.01) G06V 10/774(2022.01) G06V 10/82(2022.01) G06N 3/04(2006.01)G06N 3/08(2006.01) (54)发明名称 一种对抗生 成网络训练方法、 跨设备掌纹识 别方法及系统 (57)摘要 本发明公开一种对抗生 成网络训练方法、 跨 设备掌纹识别方法及系统， 涉及生物识别技术领 域， 包括： 将训练组输入至自注意力循环对抗生 成网络进行训练， 以得到优化对抗生成网络； 将 待用组输入至优化对抗生 成网络计算质量分数； 将升序后前k个质量分数对应的待用数据从待用 组添加至训练组， 得到对应的更新后训练组和更 新后待用组， 进而对训练组和待用组分别更新， 判断待用组中待用数据的数量是否为零； 若数量 不为零， 返回将训练组输入至自注 意力循环对抗 生成网络进行训练， 以得到优化对抗生成网络的 步骤； 若数量为零， 将训练组输入至自注意力循 环对抗生 成网络进行训练， 以得到最终对抗生成 网络。 本发明补全了掌纹， 提高了跨设备采集的 掌纹的识别率。 权利要求书3页 说明书11页 附图4页 CN 115546848 A 2022.12.30 CN 115546848 A 1.一种对抗 生成网络训练方法， 其特 征在于， 所述对抗 生成网络训练方法包括： 将样本集划分为训练组和待用组； 所述样本集包括多 张由不同设备采集得到的掌纹图 像； 将所述训练组输入至自注意力循环对抗生成网络进行训练， 以得到优化对抗生成网 络； 所述自注意力循环对抗生成网络包括生成器和判别器； 所述生成器包括依 次连接的第 一卷积模块、 第一自注意力模块、 残差模块、 第二自注意力模块和反卷积模块； 将所述待用组输入至所述优化对抗生成网络， 以计算所述待用组中每个待用数据对应 的质量分数； 所述质量分数用于表征待用数据在所述优化对抗生成网络中的训练学习难易 程度； 对多个所述质量分数进行升序， 将升序后前k个质量分数对应的待用数据从所述待用 组添加至所述训练 组， 以得到对应的更新后训练 组和更新后待用组； 将所述训练组更新为所述更新后训练组， 将所述待用组更新为所述更新后待用组， 判 断所述待用组中待用数据的数量是否为 零； 若所述待用组中待用数据的数量不为零， 则返回将所述训练组输入至自注意力 循环对 抗生成网络进行训练， 以得到优化对抗 生成网络的步骤； 若所述待用组中待用数据的数量为零， 则将所述训练组输入至自注意力循环对抗生成 网络进行训练， 以得到最终对抗 生成网络 。 2.根据权利要求1所述的对抗生成网络训练方法， 其特征在于， 所述第 一自注意力模块 包括： 第一映射子模块， 用于对所述第一卷积模块输出的特征数据进行第一卷积映射， 以得 到键数据； 第二映射子模块， 用于对所述第一卷积模块输出的特征数据进行第二卷积映射， 以得 到查询数据； 第三映射子模块， 用于对所述第一卷积模块输出的特征数据进行第二卷积映射， 以得 到值数据； 第一特征子模块， 用于对所述键数据和所述查询数据进行第一点乘计算， 然后对第一 点乘结果进行归一处 理， 以得到自注意力特 征图； 第二特征子模块， 用于对所述值数据和所述自注意力特征图进行第二点乘计算， 然后 为第二点乘结果增 加权重， 以得到 输出特征映射； 自注意力 子模块， 用于根据 所述输出特征映射和所述第 一卷积模块输出的特征数据确 定目标向量序列。 3.根据权利要求2所述的用于跨设备掌纹识别的对抗网络训练方法， 其特征在于， 所述 自注意力子模块， 具体包括： 根据公式 y＝γO+x 确定目标向量序列； 其中， y表示目标向量序列， γ表示预设可学习的变量， O表示输出特征映射， x表示第一 卷积模块输出的特 征数据。 4.根据权利要求1所述的对抗生成网络训练方法， 其特征在于， 所述待用数据对应的质权　利　要　求　书 1/3 页 2 CN 115546848 A 2量分数的计算公式为： 其中， Scorex表示第x生成图像的质量分数， 所述第x生成图像为待用数据x输入至优化 对抗生成网络后得到的生成图像； 表示数学期望， x～pdata(x表示从数据分布pdata(x)中采 样得到样 本x， F表示优化对抗生成网络中的第一生 成器， G表示优化对抗生成网络中的第二 生成器， ||||1表示1范数； ||F(G(x)) ‑x||1表示样本x通 过生成器F生成与Y类似的x尖， 再将x 尖通过生成器G还原成的x与原始的样本x的相似性， ||F(x) ‑x||1表示样本x通过生成器F生 成的x与原 始样本x的相似性； Scorey表示第y生成图像的质量分数， 所述第y生成图像为待用数据y输入至优化对抗生 成网络后得到的生成图像； y～pdata(y)表示从数据分布pdata(y中采样得到样本y； ||G(F (y))‑y||1表示样本y通过生成器G生成与X类似的y尖， 再将y尖通过生成器F还原成的y与原 始的样本y的相似性， | |G(y)‑y||1表示样本y通过生成器G生成的y与原 始样本y的相似性。 5.根据权利要求1所述的对抗生成网络训练方法， 其特征在于， 所述自注意力循环对抗 生成网络的损失函数包括： 其中， X表示训练组中的第一类数据， Y表示训练组中的第 二类数据， 且所述第一类数据 与所述第二类数据为由不同设备采集得到的掌纹图像数据； G表示通过X生成Y的生成器； F 表示通过Y生成X的生成器； DX表示判断掌纹图像数据 是否属于X的判别器； DY表示判断掌纹 图像数据是否属于Y的判别器； 表示损失函数， 表示自注意力循环对抗生 成网络的损失函数， 表示对抗损失函数， 表示循环一致性损失函数； λ表示调节 权重的参数。 6.根据权利要求1所述的对抗生成网络训练方法， 其特征在于， 所述第 一卷积模块包括 依次连接的第一反射 填充子模块、 第一卷积子模块、 第二卷积子模块和第三卷积子模块； 所述残差模块包括依次连接的多个残差 子模块； 所述反卷积模块包括依次连接的第一反卷积子模块、 第二反卷积子模块、 第二反射填 充子模块、 第四卷积子模块和激活模块。 7.一种跨设备掌纹识别方法， 其特 征在于， 所述 跨设备掌纹识别方法包括： 获取第一设备采集的第一掌纹图像和第二设备采集的第二掌纹图像； 将所述第一掌纹图像和所述第 二掌纹图像分别输入至最终对抗生成网络， 以得到对应 的第三掌纹图像和 第四掌纹图像； 多个所述第一掌纹图像和对应的第三掌纹图像构成第一 识别样本集， 多个所述第二掌纹图像和对应的第四掌纹图像构成第二识别样本集； 所述最 终对抗生成网络是由权利要求1 ‑6中任一项所述的对抗 生成网络训练方法得到的； 利用所述第一识别样本集训练分类 器， 以得到第一掌纹识别模型；权　利　要　求　书 2/3 页 3 CN 115546848 A 3