(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210599268.6 (22)申请日 2022.05.30 (71)申请人 山东大学 地址 266237 山东省青岛市 即墨滨海路72 号 (72)发明人 曹叶文　周冠群　蒋友军　袁树森　 邢红波　 (74)专利代理 机构 济南圣达知识产权代理有限 公司 372 21 专利代理师 张庆骞 (51)Int.Cl. G06V 40/16(2022.01) G06V 10/44(2022.01) G06V 10/77(2022.01) G06V 10/82(2022.01)G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 一种微表情动作单 元识别方法及系统 (57)摘要 本发明公开一种微表情动作单元识别方法 及系统， 包括： 获取微表情 视频的连续帧图像， 对 连续帧图像经预处理后， 提取动态图； 对动态图 采用空间金字塔提取多层特征图， 每层特征图经 区域划分后， 提取每个区域的局部特征图， 根据 每个区域的局部特征图及区域所在位置得到各 层特征图的区域特征图； 对各层特征图的区域特 征图进行注 意力特征提取， 根据得到的注意力特 征图确定面部动作单元， 从而以此 获取微表情类 型。 使用空间金字塔网络提取不同层的细微特 征， 使用区域特征网络捕获不同面部区域的局部 外观变化， 更加准确的识别微表情的动作单 元。 权利要求书2页 说明书7页 附图4页 CN 114926886 A 2022.08.19 CN 114926886 A 1.一种微表情动作单 元识别方法， 其特 征在于， 包括： 获取微表情视频的连续帧图像， 对连续帧图像经 预处理后， 提取动态图； 对动态图采用空间金字塔提取多层特征图， 每层特征图经区域划分后， 提取每个区域 的局部特征图， 根据每个区域的局部特征图及区域所在位置得到各层特征图的区域特征 图； 对各层特征图的区域特征图进行注意力特征提取， 根据得到的注意力特征图确定面部 动作单元， 从而以此获取微表情类型。 2.如权利要求1所述的一种微表情动作单元识别方法， 其特征在于， 所述预处理包括， 对连续帧图像进行像素值的归一化处理， 对像素值归一化后的连续帧图像进行人脸检测、 人脸对齐、 图像裁 剪和大小归一 化处理。 3.如权利要求1所述的一种微表情动作单元识别方法， 其特征在于， 对连续帧图像经预 处理后得到图像序列， 对图像序列像素采用排序池化法提取动态图。 4.如权利要求1所述的一种微表情动作单元识别方法， 其特征在于， 所述空间金字塔包 括多层卷积， 将每层卷积的最后一个残差块的输出作为空间金字塔的一层特征图， 由此提 取多层特 征图。 5.如权利要求1所述的一种微表情动作单元识别方法， 其特征在于， 每个区域采用2个1 ×1的卷积和1个3 ×3的卷积进行局部特征图的提取， 3 ×3的卷积位于2个1 ×1的卷积之间， 在每个卷积后使用批量归一 化和ReLU激活函数。 6.如权利要求1所述的一种微表情动作单元识别方法， 其特征在于， 注意力特征提取的 过程包括： 对区域特征图沿通道轴采用最大池化操作和平均池化操作获取每个位置处各个通道 的最大值和平均值， 分别生成最大 特征图和平均特 征图； 分别提取最大特征图和平均 特征图的特征向量， 并获取每个位置的特征在整个面部空 间的重要程度， 并将得到特征图调整 大小后拼接成组合特征图， 将组合特征图降维后， 采用 sigmoid函数将数值限制到 0～1范围内， 得到空间注意力特 征图； 将区域特征图和 空间注意力特征图做乘积， 将乘积结果与区域特征图相加， 得到注意 力特征图。 7.如权利要求1所述的一种微表情动作单元识别方法， 其特征在于， 所述微表情动作 单 元识别方法还 包括采用焦点损失函数进行网络训练。 8.一种微表情动作单 元识别系统， 其特 征在于， 包括： 动态图提取模块， 被配置为获取微表情视频的连续帧图像， 对连续帧图像经预处理后， 提取动态图； 区域特征提取模块， 被配置为对动态图采用空间金字塔提取多层特征图， 每层特征图 经区域划分后， 提取每个区域的局部特征图， 根据每个区域的局部特征图及区域所在位置 得到各层特 征图的区域特 征图； 动作单元识别模块， 被配置为对各层特征图的区域特征图进行注意力特征提取， 根据 得到的注意力特 征图确定面部动作单 元， 从而以此获取微表情类型。 9.一种电子设备， 其特征在于， 包括存储器和处理器以及存储在存储器上并在处理器 上运行的计算机指 令， 所述计算机指 令被处理器运行时， 完成权利要求 1‑7任一项所述的方权　利　要　求　书 1/2 页 2 CN 114926886 A 2法。 10.一种计算机可读存储介质， 其特征在于， 用于存储计算机指令， 所述计算机指令被 处理器执行时， 完成权利要求1 ‑7任一项所述的方法。权　利　要　求　书 2/2 页 3 CN 114926886 A 3