(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210364175.5 (22)申请日 2022.04.07 (71)申请人 重庆大学 地址 400030 重庆市沙坪坝区沙正 街174号 (72)发明人 李秀敏　刘洁　余洁　江少鹏　 欧阳奇　 (74)专利代理 机构 重庆信航知识产权代理有限 公司 50218 专利代理师 吴彬 (51)Int.Cl. G06V 40/16(2022.01) G06V 40/18(2022.01) G06V 10/44(2022.01) G06V 10/50(2022.01) G06V 10/74(2022.01)G06K 9/62(2022.01) G06V 10/82(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 基于SNN的边缘特征提取与面部表情识别方 法 (57)摘要 本发明公开了一种基于SNN的边缘特征提取 与面部表情识别方法， 其包括步骤1)提取人脸图 像的显著性特征， 2)通过多任务卷积神经网络提 取人脸图像在眼睛 区域和在嘴鼻区域的特征； 3) 对步骤2)提取到的中央凹区进行延迟编码， 实现 图像特征在时间维度上的脉冲序列转换； 4)通过 SNN提取脉冲序列的边缘特征； 5)通过回声状态 网络预测眼睛区域和嘴巴区域的表情类别； 6)判 断预测的眼睛区域和嘴巴区域的表情类别是否 相同， 如相同则输出表情识别结果； 若不相同,则 结合特征脸算法计算竞争值H， 并输出表情识别 结果。 本发 明能充分学习到面部表情的关键纹理 信息， 具有较强的区分性， 在训练集数量较少的 情况下能更好的保证 较高的识别精度。 权利要求书3页 说明书8页 附图11页 CN 114724217 A 2022.07.08 CN 114724217 A 1.基于SN N的边缘特征提取与面部表情识别方法， 其特 征在于： 包括以下步骤： 1)提取人脸图像的显著性特 征； 2)通过多任务卷积神经网络提取人脸图像在眼睛区域的关键点和在 嘴鼻区域的关键 点， 标记并保存关键点， 再分别提取出包含眼睛区域关键点的中央凹腔和包含嘴鼻区域关 键点的中央凹区； 3)对步骤2)提取到的中央凹区进行延迟编码， 实现图像特征在时间维度 上的脉冲序列 转换； 4)通过SN N网络提取 脉冲序列的边 缘特征； 输入脉冲和所述SNN网络的输出神经元之间的连接权重使用突触可塑性学习算法更 新： 在训练过程中， 每个输出神经元会被标记 为P+或者P ‑类型， 如果输入样 本为第i类， 此时 要求该网络中的第i个输出神经元放电， 其他的神经元保持静默状态； 如果指定的第i神经 元未放电则出现P+类型错误， 如果其他神经元放电则出现了P ‑类型错误， 突触可塑性学习 算法如下： Δwi为第i类对应的权重增量， λ为限制权重增量更新幅值的设计参数， K(tmax‑ti)为核 函数， tmax表示神经 元电压超过膜电位的峰值时间， ti表示第i个脉冲到 达的时间； 5)通过连接在SNN网络的输出层之后的回声状态网络预测眼睛区域的表情类别id1和 嘴巴区域的表情 类别id2， 回声状态网络的输出设置为表情总类别， 回声状态网络的更新方 程和输出 方程如下： xj(n+1)＝tanh(Winu(n+1)+Wresx(n)+Wbacky(n)+v(n) y(n+1)＝fout(Wout[x(n+1)| u(x+1)]) 其中v(n)表示噪声信号， fout为输出单元的活性函数， Win为输入连接权重， Wres为内部连 接权重， Wout为输出连接权重， Wback为反馈连接权重， tanh为储备池的激励函数； u(n)表示输 入信号， x(n)表示储备池的状态， y(n)表示输出信号； 其中， Wres＝α(W0/σmax)， W0为初始储备池连接 权值， σmax为W0的谱半径， α 为 Wres的谱半径。 6)判断预测的眼睛区域的表情类别id1和嘴巴区域的表情类别id2是否相同， 如相同则 输出表情识别结果； 若不相同,则回声状态网络输出各类表情的竞争值H1， 所述竞争值H1由 眼睛区域的预测表情 类别id1和嘴巴区域的预测表情 类别id2累加得到， 并将竞争值H1和由 Eigenface算法计算得到的竞争值H2进行线性叠加得到竞争值H， 根据赢者通吃机制以H值 中最大一项所对应的表情类别作为表情识别结果； 回声状态网络的输出层与决策层之间的连接权重wt2通过测试图像与训练集之间的HOG 特征的相似度给定， HO G相似度计算包括以下步骤： S1)计算H OG特征； 假设一个cell内(x,y)处的像素为P(x,y)， 其中Gx(x,y)、 Gy(x,y)分别 表示像素点(x,y)处的水平梯度和垂直梯度， G(x,y)、 α(x,y)分别表示像素点(x,y)处的梯权　利　要　求　书 1/3 页 2 CN 114724217 A 2度幅值和梯度方向， (x,y)处的HO G特征计算公式如下： Gx＝P(x+1,y) ‑P(x‑1,y) Gy＝P(x,y+1) ‑P(x,y‑1) α(x,y)＝tan‑1(Gx(x,y)/Gy(x,y)) 在每个胞元内， 统计梯度直方图并进行投票操作， 将梯度方向划分到无符号的0 ‑180° 的9个方向块， 每个方向块占据的角度为20 °， 然后根据梯度角度将梯度幅值对应加到每个 类中， 每次累加1， 得到 HOG特征； S2)利用如下公式计算测试图像与训练图像之间的相似度系数cor r2： 其中A、 B分别为训练图像和测试图像， 长度都为l； 表示训练图像A的平均值， 表示 测试图像B的平均值， Amn为训练数据的特 征向量， Bmn为测试数据的特 征向量。 2.根据权利要求1所述的基于SNN的边缘特征提取与面部表情识别方法， 其特征在于： 所述步骤1)中提取 人脸图像的显著性特 征包括以下步骤： a)对人脸原图进行高斯平滑处理得到原图I， 再根据如下公式将原图I在横向和纵向卷 积， 得到图像的一阶差分， 然后设置一定的阈值得到Sobel 边缘特征； 其中Gx、 Gy分别是在原图I在水平及垂直方向上灰度偏导的近似值， G是对原图I计算的 Sobel算子； b)采用多尺度特征学习网络提取人脸原图的特征， 并将提取到的特征与Sobel算子提 取的特征做线性叠加得到人脸图像的显著性特 征。 3.根据权利要求1所述的基于SNN的边缘特征提取与面部表情识别方法， 其特征在于： 所述步骤2)中的多任务卷积神经网络由P ‑NET、 R‑NET和O‑NET连接组成， 所述P ‑NET用于进 行粗略的人脸定位与边界框回归， 所述R ‑NET用于精细筛选人脸， 所述O ‑NET用于对数据集 的关键点进行 标定并保存。 4.根据权利要求1所述的基于SNN的边缘特征提取与面部表情识别方法， 其特征在于： 所述步骤3)中延迟编码的公式如下： ti＝(1‑fi)T 其中fi是第i个神经元对输入刺激编码的归一化放电频率， ti为经延迟编码后转化的脉 冲放电时间， T是设置的时间窗口常数； 在0 ‑T时间窗口内， 输入的放电频率越强， 编码后的 脉冲神经 元放电时间越早。权　利　要　求　书 2/3 页 3 CN 114724217 A 3