(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210695658.3 (22)申请日 2022.06.20 (71)申请人 华南理工大 学 地址 510640 广东省广州市天河区五山路 381号 (72)发明人 田联房　钟明通　杜启亮　 (74)专利代理 机构 广州市华学知识产权代理有 限公司 4 4245 专利代理师 冯炳辉 (51)Int.Cl. G06V 40/14(2022.01) G06V 10/25(2022.01) G06V 10/44(2022.01) G06V 10/764(2022.01) G06V 10/82(2022.01)G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 基于轻量级网络及深度 哈希的指静脉识别 方法 (57)摘要 本发明公开了一种基于轻量级网络及深度 哈希的指静脉识别方法， 包括： 1)获取数据库中 指静脉图像的ROI区域并处理， 得到训练数据； 2) 构造轻量级指静脉的特征提取网络， 输出指静脉 特征向量； 3)将指静脉特征向量输入深度哈希网 络得到哈希编码； 4)为特征提取网络训练设计损 失函数Lf； 5)为深度哈希网络训练设计量化损失 Lq； 6)输入训练数据， 对网络训练； 7)将训练数据 输入到训练好的网络中， 得到对应的哈希编码并 保存， 得到哈希编码库； 8)输入待识别指静脉数 据到训练好的网络得到哈希编码， 并在哈希编码 库进行检索识别。 本发明解决了现有的深度学习 指静脉识别模型结构复杂且特征提取与哈希编 码非端到端的问题。 权利要求书3页 说明书7页 附图5页 CN 115063845 A 2022.09.16 CN 115063845 A 1.基于轻量级网络及深度哈希的指静脉识别方法， 其特 征在于， 包括以下步骤： 1)获取数据库中指静脉图像的ROI区域， 进行 标准化操作， 得到训练数据； 2)构造block结构， 利用block结构搭建轻量级指静脉的特征提取网络， 该网络有3个 block结构， 通过对3个block输出特征图进行复用， 再经过全局最大池化得到指静脉特征向 量； 3)构造深度哈希网络， 对步骤2)得到的指静脉 特征向量进行编码得到哈希编码向量； 4)为步骤2)中特征提取网络训练设计损失函数Lf， 包括基于三元组的损失Triplet   loss及基于中心的损失Center  loss； 5)为步骤3)深度哈希网络训练设计 基于三元组的量 化损失Lq； 6)输入训练数据， 对步骤2)特征提取网络及步骤3)深度哈希网络进行训练， 根据Lf、 Lq 分别对特 征提取网络及深度哈希网络进行参数优化更新； 7)将训练数据输入到步骤6)训练好的网络中， 得到训练数据对应的哈希编码并保存， 得到哈希编码库； 8)输入待识别指静脉数据到训练好的网络， 得到哈希编码向量， 并在步骤7)得到的哈 希编码库中遍历， 采用汉明距离实现快速检索识别。 2.根据权利要求1所述的基于轻量级网络及深度哈希的指静脉识别方法， 其特征在于， 在步骤1)中， 获取指静脉图像的ROI区域及标准 化， 具体包括： 1.1)使用Sobel算子获取指静脉图像手指两端边缘点， 根据边缘点拟合中线对指静脉 图像进行旋转矫正， 利用手指轮廓的内切线对指静脉图像进行分割， 利用手指关节进行定 位， 截取ROI区域图像； 1.2)对ROI区域图像进行减去均值， 除以方差的标准 化操作。 3.根据权利要求1所述的基于轻量级网络及深度哈希的指静脉识别方法， 其特征在于， 在步骤2)中， 构建block结构， 利用block结构搭建轻量级指静脉的特征提取网络， 该网络的 3个block结构具体如下： 第一个bl ock具体结构如下： 输入： 预处 理后的ROI区域图像； 第一层： 3 ×3卷积层； 第二层： 3 ×3Group Conv； 第三层： 1 ×1卷积层； 第四层： 最大池化层； 输出： 特征图F1； 第二个bl ock具体结构如下： 输入： 特征图F1； 第一层： 3 ×3卷积层； 第二层： 3 ×3Group Conv； 第三层： 1 ×1卷积层； 第四层： 最大池化层； 输出： 特征图F2； 第三个bl ock具体结构如下：权　利　要　求　书 1/3 页 2 CN 115063845 A 2输入： 特征图F2； 第一层： 3 ×3卷积层； 第二层： 3 ×3Group Conv； 第三层： 1 ×1卷积层； 第四层： 最大池化层； 输出： 特征图F3； 将特征图F1通过两个最大池化层、 特征 图F2通过一个最大池化层与特征 图F3以concat 形式复用， 得到复用特征Ftotal， 将Ftotal通过全局最大池化层得到下采样特征Fdown， 将Fdown进 行L2范数归一化处理得到指静脉 特征向量FL2， L2范数归一化公式如下： Fdown＝(Fdown1,Fdown2,...,FdownN) 式中， Fdown为N维向量， Fdowni为Fdown向量的第i维， i＝1,2,3， …,N， ||Fdown||为Fdown每个 维度的平方和再开方值。 4.根据权利要求1所述的基于轻量级网络及深度哈希的指静脉识别方法， 其特征在于， 在步骤3)中， 深度哈希网络结构具体如下： 输入： 指静脉 特征向量FL2， 形状为1 ×1×224； 哈希层： 1 ×1卷积层， 卷积核为(1,1)， 步长为1， 滤波器数量为224， 输出形状为1 ×1× 224； ； 哈希输出层： 哈希编码， 维度为1 ×1×224； 其中， 哈希层以tanh为激活函数， 经过tanh输出的特征映射到( ‑1,1)， 哈希输出层采用 的哈希策略是将大于 0的输出取1， 小于 0的取0， 从而得到只含有0、 1的哈希编码。 5.根据权利要求1所述的基于轻量级网络及深度哈希的指静脉识别方法， 其特征在于， 在步骤4)中， 对于批量batch里面的每个三元 组(A,P,N)， A为批量batch里面的每一张图像， P为与A同类的positive图像， N 为与为A异类的neg ative图像， 损失函数 具体公式计算如下： Triplet loss＝[dap‑dan+α1]+ 式中， dap为A与P的特征距离， dan为A与N的特征距离， α1为期望阈值， [z]+为求取z与0的 最大值； 式中， B为一个批量bat ch的图像 数量， fj为批量batch 里面第j个图像的特征， yj表示第j 个图像对应的类别， Cyj为对应类别的中心； Lf＝Triplet  loss+β *Center loss 式中， β 为Center  loss的权重参数。 6.根据权利要求1所述的基于轻量级网络及深度哈希的指静脉识别方法， 其特征在于，权　利　要　求　书 2/3 页 3 CN 115063845 A 3