(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211139581.8 (22)申请日 2022.09.19 (71)申请人 中国银行股份有限公司 地址 100818 北京市西城区复兴门内大街1 号 (72)发明人 曲璇　郭睿　李娅楠　穆孙婷　 (74)专利代理 机构 北京三友知识产权代理有限 公司 11127 专利代理师 田勇　樊一槿 (51)Int.Cl. G06V 40/16(2022.01) G06N 20/10(2019.01) G06V 10/50(2022.01) G06V 10/74(2022.01) G06V 10/764(2022.01)G06V 10/774(2022.01) G06V 10/80(2022.01) (54)发明名称 人脸图像的双模态 识别方法及装置 (57)摘要 本发明提供了一种人脸图像的双模态识别 方法及装置， 应用于人工智能技术领域， 该方法 包括： 分别提取多个人脸的近红外人脸图像的局 部高频特征的分块直方图特征和全局低频特征； 提取所述多个人脸的可见光图像的局部高频特 征； 基于近红外人脸图像的局部高频特征的分块 直方图特征和全局低频特征、 可见光图像的局部 高频特征训练多个双模态识别模 型， 获得训练好 的多个双模态识别模型； 在获得目标人脸的近红 外人脸图像和可见光图像后， 输入至训练好的多 个双模态识别模型， 获得多个识别结果； 采用决 策层融合模 型对多个识别结果进行融合， 获得目 标人脸的识别结果。 本发明可以实现人脸图像的 双模态识别， 精度高。 权利要求书2页 说明书6页 附图3页 CN 115457634 A 2022.12.09 CN 115457634 A 1.一种人脸图像的双模态 识别方法， 其特 征在于， 包括： 分别提取多个人脸的近红外人脸图像的局部高频特征的分块直方图特征和全局低频 特征； 提取所述多个人脸的可 见光图像的局部高频 特征； 基于近红外人脸图像的局部 高频特征的分块直方图特征和全局低频特征、 可见光图像 的局部高频 特征训练多个双模态 识别模型， 获得训练好的多个双模态 识别模型； 在获得目标人脸的近红外人脸图像和可见光图像后， 输入至训练好的多个双模态识别 模型， 获得多个识别结果； 采用决策层融合模型对多个识别结果进行融合， 获得目标 人脸的识别结果。 2.如权利要求1所述的方法， 其特征在于， 基于近红外人脸图像的局部 高频特征的分块 直方图特征和全局低频特征、 可见光图像的局部高频特征训练多个双模态识别模型， 获得 训练好的多个双模态 识别模型， 包括： 对近红外人脸图像的局部 高频特征的分块直方图特征和全局低频特征、 可见光图像的 局部高频 特征进行归一 化， 获得归一 化结果； 将归一化结果分为多份数据； 对每份数据， 训练一个双模态 识别模型。 3.如权利要求2所述的方法， 其特征在于， 对每份数据， 训练一个双模态识别模型， 包 括： 将每份数据分为训练集和 测试集； 对每份数据， 采用训练集训练双模态 识别模型； 采用验证集验证训练后的双模态识别模型， 在验证时使用卡方距离作为分类任务的相 似性度量方法； 在验证结果 为符合预设条件时， 获得训练好的双模态 识别模型。 4.如权利要求1所述的方法， 其特 征在于， 所述决策层融合模型包括预设决策规则； 采用决策层融合模型对多个识别结果进行融合， 获得目标 人脸的识别结果， 包括： 基于预设决策规则， 从多个识别结果中， 筛 选出目标 人脸的识别结果。 5.一种人脸图像的双模态 识别装置， 其特 征在于， 包括： 第一特征提取模块， 用于分别提取多个人脸的近红外人脸图像的局部 高频特征的分块 直方图特 征和全局低频 特征； 第二特征提取模块， 用于提取 所述多个人脸的可 见光图像的局部高频 特征； 模型训练模块， 用于基于近红外人脸图像的局部 高频特征的分块直方图特征和全局低 频特征、 可见光图像的局部高频特征训练多个双模态识别模型， 获得训练好的多个双模态 识别模型； 识别模块， 用于在获得目标人脸的近红外人脸图像和可见光图像后， 输入至训练好的 多个双模态 识别模型， 获得多个识别结果； 确定模块， 用于采用决策层融合模型对多个识别结果进行融合， 获得目标人脸的识别 结果。 6.如权利要求5所述的装置， 其特 征在于， 模型训练模块具体用于： 对近红外人脸图像的局部 高频特征的分块直方图特征和全局低频特征、 可见光图像的权　利　要　求　书 1/2 页 2 CN 115457634 A 2局部高频 特征进行归一 化， 获得归一 化结果； 将归一化结果分为多份数据； 对每份数据， 训练一个双模态 识别模型。 7.如权利要求6所述的装置， 其特 征在于， 模型训练模块具体用于： 将每份数据分为训练集和 测试集； 对每份数据， 采用训练集训练双模态 识别模型； 采用验证集验证训练后的双模态识别模型， 在验证时使用卡方距离作为分类任务的相 似性度量方法； 在验证结果 为符合预设条件时， 获得训练好的双模态 识别模型。 8.如权利要求5所述的装置， 其特 征在于， 所述决策层融合模型包括预设决策规则； 确定模块具体用于： 基于预设决策规则， 从多个识别结果中， 筛 选出目标 人脸的识别结果。 9.一种计算机设备， 包括存储器、 处理器及存储在存储器上并可在处理器上运行的计 算机程序， 其特征在于， 所述处理器执行所述计算机程序时实现权利要求1至4任一项所述 方法。 10.一种计算机可读存储介质， 其特征在于， 所述计算机可读存储介质存储有计算机程 序， 所述计算机程序被处 理器执行时实现权利要求1至4任一项所述方法。 11.一种计算机程序产品， 其特征在于， 所述计算机程序产品包括计算机程序， 所述计 算机程序被处 理器执行时实现权利要求1至4任一项所述方法。权　利　要　求　书 2/2 页 3 CN 115457634 A 3