(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210759642.4 (22)申请日 2022.06.29 (71)申请人 厦门市美亚柏科信息股份有限公司 地址 361000 福建省厦门市思明区软件园 二期观日路12号102-402单 元 (72)发明人 高志鹏　吴俊毅　郭小强　吴婷婷　 赵建强　杜新胜　张辉极　 (74)专利代理 机构 厦门福贝知识产权代理事务 所(普通合伙) 35235 专利代理师 郭涵炜 (51)Int.Cl. G06V 40/16(2022.01) G06V 10/34(2022.01) G06V 10/36(2022.01) G06V 10/44(2022.01)G06V 10/764(2022.01) G06V 10/82(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 一种轻量级的人脸过滤方法和系统 (57)摘要 本发明给出了一种轻量级的人脸过滤方法 和系统， 包括制作人脸数据集， 人脸数据集包括 真实拍摄的人脸图像和网络图片， 经过数据清洗 分类后以随机分配的方式混入人脸数据集中； 构 建轻量级人脸过滤的神经网络模 型， 在主干网络 中， 通过基于批归一化的缩放因子调节的注意力 机制模块， 使用批归一化的缩放因子衡量权重， 代替全连接层； 在网络颈部， 在每个特征融合阶 段通过上采样或下采样的方式融合所有的图像 特征， 并且在每一个特征向量前加一个权重参数 以充分过滤空间上的冲突信息； 损失函数采用类 平衡的损失函数CBLoss和 FocalLoss相结合。 本 发明网络设计和训练方式贴近于实际应用， 在网 络轻量化的同时能够提高人脸多分类的准确度， 具有很好的落 地效果。 权利要求书2页 说明书9页 附图2页 CN 114998972 A 2022.09.02 CN 114998972 A 1.一种轻量级的人脸过 滤方法， 其特 征在于， 包括： S1： 制作人脸数据集， 所述人脸数据集包括真实拍摄的人脸图像和网络图片， 经过数据 清洗分类后以随机分配的方式混入人脸数据集中； S2： 构建轻量级人脸过滤的神经网络模型， 在主干网络中， 通过基于批归一化的缩放因 子调节的注意力机制模块， 使用批归一化的缩放因子衡量权重， 代替全连接层； 在网络颈 部， 在每个特征融合 阶段通过上采样或下采样的方式融合所有的图像特征， 并且在每一个 特征向量前加一个权重参数以充分过滤空间上的冲突信息； 损失函数采用类平衡的损失函 数CBLoss和Focal Loss相结合。 2.根据权利要求1所述的轻量级的人脸过滤方法， 其特征在于， 所述人脸数据集采用至 少50万张图像、 开源数据集中若干万张动漫人脸头像以及通过人脸识别网络进 行人脸剪切 制作的至少50万张正脸图像， 按照97: 3的比例分为训练集和验证集， S1之后还包括： 对输入 数据进行 预处理， 并进一 步随机打乱所述人脸数据集。 3.根据权利要求1所述的轻量级的人脸过滤方法， 其特征在于， 所述主干网络中， 对于 通道注意子模块， 利用批归一 化的缩放因子测量各个通道的方差， 调整各个通道的权 重 其中， 为均值， 为方差， γ和β 表示仿射变换参数， γ为尺度， β 为 位移， ∈为调节系数。 4.根据权利要求1所述的轻量级的人脸过滤方法， 其特征在于， 在所述网络颈部 中获得 的融合特征 其中， 和 是通过调整后的 三层特征图经过1*1卷积的参数权重， 经过Softmax激活函数得到相应的α、 β 和γ， 三者的范 围属于[0,1]， 并且三 者之和为1。 5.根据权利要求4所述的轻量级的人脸过滤方法， 其特征在于， 利用α进行激活函数 hard‑swish的斜率调节： 6.根据权利要求1所述的轻量级的人脸过滤方法， 其特征在于， 还包括S4： 人脸多分类 模型训练和 测试， 具体包括以下： S41： 将数据集随机打乱， 将扩充后的数据读入内存， 提取图像特 征； S42： 从样本中随机读取128张图像送入所述神经网络模型中训练， 直至所有样本都训 练一次记 为一轮， 训练20轮后获得人脸多分类模 型， 计算精确率和召回率的调和平均数F1 ‑ score， 其中， precisio n表示精确率， recall表示召回率， TP表示实际为正样本被预测为正样本个数， FP表示实际 为负样本被预测为 正样本个数， FN表示实际为 正样本被预测为负 样本个数； S43： 对训练集进行进一步数据增强， 以随机顺序加入图像水平翻转、 高斯滤波、 多点小 部分遮挡以及图像对比度饱和度变化的数据增强方式进行迭代训练， 完成20轮训练后， 再 次测试F1‑score， 响应于当前 F1‑score的值大于S42中的值， 保留当前模型； S44： 重复上述 步骤， 直至F1 ‑score达到0.99， 生成最终适应人脸多分类的模型。 7.一种计算机可读存储介质， 其上存储有一或多个计算机程序， 其特征在于， 该一或多权　利　要　求　书 1/2 页 2 CN 114998972 A 2个计算机程序被 计算机处 理器执行时实施权利要求1至 6中任一项所述的方法。 8.一种轻量级的人脸过 滤系统， 其特 征在于， 所述系统包括： 人脸数据集制作单元： 配置用于制作人脸数据集， 所述人脸数据集包括真实拍摄的人 脸图像和网络图片， 经 过数据清洗分类后以随机分配的方式混入人脸数据集中； 轻量级人脸过滤的神经网络模型构建单元： 配置用于构建轻量级人脸过滤的神经网络 模型， 在主干网络中， 通过基于批归一化的缩放因子调节的注意力机制模块， 使用批归一化 的缩放因子衡量权重， 代替全连接层； 在网络颈部， 在每个特征融合阶段通过上采样或下采 样的方式融合所有的图像特征， 并且在每一个特征向量前加一个权重参数以充分过滤 空间 上的冲突信息； 损失函数采用类平衡的损失函数CBL oss和Focal Loss相结合。 9.根据权利要求8所述的轻量级的人脸过滤系统， 其特征在于， 所述主干网络中， 对于 通道注意子模块， 利用批归一 化的缩放因子测量各个通道的方差， 调整各个通道的权 重 其中， 为均值， 为方差， γ和β 表示仿射变换参数， γ为尺度， β 为 位移， ∈为调节系数。 10.根据权利要求8所述的轻量级的人脸过滤系统， 其特征在于， 在所述网络颈部中获 得的融合特征 其中， 和 是通过调整后 的三层特征图经过1*1卷积的参数权重， 经过Softmax激活函数得到相应的α、 β 和γ， 三者的 范围属于[0,1]， 并且三 者之和为1。 11.根据权利要求10所述的轻量级的人脸过滤系统， 其特征在于， 利用α进行激活函数 hard‑swish的斜率调节： 12.根据权利要求8所述的轻量级的人脸过滤系统， 其特征在于， 还包括人脸多分类模 型训练和测试单元， 所述人脸多分类模型训练和测试单元具体配置用于： 将数据集 随机打 乱， 将扩充后的数据读入内存， 提取图像特征； 从样本中随机读取128张图像送入所述神经 网络模型中训练， 直至所有样 本都训练一次记 为一轮， 训练20轮后获得人脸多分类模型， 计 算精确率和召回率的调和平均数 F1‑score， 其中， precision表示精确率， recall表示召回率， TP表示实 际为正样本被预测为正样本个数， FP表示实际为负样本被预测为正样本个数， FN表示实际 为正样本被预测为负样本个数； 对训练集进行进一步数据增强， 以随机顺序加入图像水平 翻转、 高斯滤波、 多点小部分遮挡以及图像对比度饱和度变化的数据增强方式进行迭代训 练， 完成20轮训练后， 再次测试F1 ‑score， 响应于当前F1 ‑score的值大于前一轮中的值， 保 留当前模型； 重复以上步骤直至F1 ‑score达到0.99， 生成最终适应人脸多分类的模型。权　利　要　求　书 2/2 页 3 CN 114998972 A 3