(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210160407.5 (22)申请日 2022.02.22 (71)申请人 北京工业大 学 地址 100124 北京市朝阳区平乐园10 0号 (72)发明人 刘波　李剑　 (74)专利代理 机构 北京思海天达知识产权代理 有限公司 1 1203 专利代理师 张慧 (51)Int.Cl. G06V 40/12(2022.01) G06V 10/44(2022.01) G06V 10/764(2022.01) G06V 10/82(2022.01) G06K 9/62(2022.01) G06N 3/04(2006.01)G06N 3/08(2006.01) (54)发明名称 一种基于深度学习的现场指纹特征点提取 方法 (57)摘要 本发明提出了一种基于深度学习的现场指 纹特征点提取方法， 所属领域为计算机视觉。 本 发明将目标检测思想应用到指纹特征点提取场 景， 将指纹细节点作为目标。 通过对以细节点为 中心的候选框进行分类预测和位置回归。 训练中 预设候选框区域设计为固定的32x32大小， 能够 有效的关注细 节点局部 特征。 网络结构对Faster   R‑CNN进行改进， 修改网络 结构和损失函数， 并设 计一种对输入 数据进行滤波预处理方法， 以适应 指纹特征点提取场景， 加快指纹特征提取速度。 本发明通过结合目标检测思想， 应用深度神经网 络对图像特征的高表示性， 充分提取指纹特征 点， 为指纹特 征提取提供了一种新的解决方案 。 权利要求书3页 说明书10页 附图4页 CN 114529951 A 2022.05.24 CN 114529951 A 1.一种基于深度学习的现场指纹特 征点提取方法， 其特 征在于包括以下步骤： 步骤1， 指纹数据集准备， 包括每个人两张原始指纹图像， 和对应的两张增强图像， 其中 原始指纹图像包括 一张现场指纹图像和一张对应 捺印指纹图像； 步骤2， 通过步骤1中的原始指纹图像数据集， 求解带约束的最优化问题， 得到小波框架 基； 步骤3， 制作神经网络训练集， 得到现场指纹图像上的细节点标记信息， 包括所有端点 和分叉点的位置， 具体操作如下： 首先选取步骤1中的现场指纹图像和对应的增强图像； 然 后对其增强图像依次进行二值化操作和细化操作； 最后根据端点以及分叉点的特殊空间特 征， 在细化后得到的图像上找到所有端点和分叉点的位置， 该位置即为对应现场指纹图像 上的细节点 位置； 步骤4， 使用步骤2中训练出的小波框架基， 对步骤1中现场指纹图像进行滤波， 得到滤 波图像； 步骤5， 构建神经网络， 用于提取指纹特 征点； 步骤6， 训练神经网络， 采用两阶段训练的方式得到神经网络参数； 步骤7， 使用神经网络， 将待分析的现场指纹图片经过小波框架基滤波后， 输入训练完 成的神经网络， 先通过第一部分网络得到特征图， 将特征图输入第二部分网络得到初步预 测信息， 最后将特 征图和初步预测信息 输入第三部分网络， 得到最终预测的特 征点。 2.根据权利要求1所述 一种基于深度学习的现场指纹特 征点提取方法， 其特 征在于： 步骤2中所述带约束的最优化问题如下： 该最优化问题应用在二维图像领域， 即d＝2， 表示滤波器维数， 每个滤波器都是一个矩 阵； 其中Zd表示一个d维整数域空间， n∈Zd， n表示大小为d ×d的对角矩阵， 对角线元素是从 Zd中取的d个整数； xj是原始指纹图像， 一共有N张图像； ai是滤波器， 一共有m个； 是使用滤 波器ai对原始指纹图像进行滤波变换； Φ(vi,j)是衡量滤波得到图像vi,j的稀疏性价值函 数， 采用L1或L2范数； M是采样矩阵， 取 或 ai(Mn+k)表示取滤波器ai索引为Mn+ k的值； |det(M)|‑1表示采样矩阵M的行列式的倒数； 当 时δk＝1， 否则δk＝0， 求解 该问题， 得到所述的自适应小 波框架基， 即 m个滤波器ai。 3.根据权利要求1所述 一种基于深度学习的现场指纹特 征点提取方法， 其特 征在于： 步骤3中所述的二值化具体包括以下步骤： 首先， 将现场指纹图像的增强图像转换为像 素值为[0,255 ]的灰度图像； 然后， 计算该增强指纹图像的平均像素值； 接下来， 遍历灰度图 像中的每个像素点， 大于等于平均像素值的像素点为指纹点， 像素值为255， 小于该值的为 背景点， 像素值 为0， 输出二 值化图像；权　利　要　求　书 1/3 页 2 CN 114529951 A 2步骤3中所述的细化操作具体包括以下步骤： 首先， 输入二值化图像， 在不改变指纹图 像的拓扑 结构下， 将指纹线条从多像素宽度减少到单位像素宽度， 输出细化图像； 步骤3中所述端点以及分叉点的特殊空间特征， 指以端点或者分叉点为中心 的像素八 邻域内， 指纹点与背景点之间的空间拓扑关系， 指纹细节点包括指纹端点和指纹分叉点。 4.根据权利要求1所述 一种基于深度学习的现场指纹特 征点提取方法， 其特 征在于： 步骤4中具体包括： 将步骤2中训练出来的一组滤波器， 即小波框架基， 对现场指纹图像 进行二维卷积， 得到滤波图像。 5.根据权利要求1所述 一种基于深度学习的现场指纹特 征点提取方法， 其特 征在于： 步骤5中所述的神经网络采用Faster  R‑CNN网络并进行了改进， 以适应指纹特征点检 测， 具体的， 所述的神经网络 分为三大部 分， 第一部 分是前置卷积网络层， 输入为步骤4得到 的滤波图像， 用于提取滤波图像的特征图； 第二部分是Region  Proposal  Networks层， 输入 为第一部分输出的特征图， 用于逐像素的将特征图上的每个像素点映射到滤波图像上的一 点， 并在滤波图像上自动生成以该点为中心的预设候选框， 输出每一个候选框包含细节点 的预测概率以及候选框中心 点相对于可能包含的细节点位置的预测偏移 量； 第三部 分依次 是ROI pooling层和三层全连接层， 输入为第一部分得到的特征图和第二部分得到的初步 预测细节点信息， 输出为每一个候选 框最后的预测概 率和位置偏移量； 其中， 第一部分前置卷积网络结构依次包括： 第一卷积层， 卷积核大小为7x7， 个数为96， 步长为2； 第一最大池化层， 窗口大小为3x3， 步长为2； 第二卷积层， 卷积核大小为5x5， 个数为25 6， 步长为2； 第二最大池化层， 窗口大小为3x3， 步长为2； 第三卷积层， 卷积核大小为3x3， 个数为384， 步长为1； 第四卷积层， 卷积核大小为3x3， 个数为384， 步长为1； 第五卷积层， 卷积核大小为3x3， 个数为25 6， 步长为1； 第二部分Regi on Proposal Networks层网络结构依次包括： 第一卷积层， 卷积核大小为3x3， 个数为25 6， 步长为1； 第二卷积层， 卷积核大小为1x1， 步长为1,分为两条并行支路， 一条支路卷积核个数为 1； 一条支路卷积核个数为2； 最后计算第二部分网络总损失； 第三部分网络结构依次包括： ROI pooling层， 为Faster  R‑CNN网络原本结构； 第一全连接层， 维度为 4096； 第二全连接层， 维度为 4096； 第三全连接层， 分为两条并行支路， 一条支路全连接层维度为1， 一条支路全连接层维 度为2； 最后计算第三部分网络总损失。 6.根据权利要求1所述 一种基于深度学习的现场指纹特 征点提取方法， 其特 征在于： 步骤6中采用两阶段训练的方式得到神经网络参数； 第一训练阶段的损失函数由二分类损失函数和s mooth L1损失两部分组成， 其中，权　利　要　求　书 2/3 页 3 CN 114529951 A 3