(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211331208.2 (22)申请日 2022.10.28 (71)申请人 河北工业大 学 地址 300130 天津市红桥区丁字沽光 荣道8 号河北工业大 学东院330# (72)发明人 郭迎春　郭飞　郝小可　于洋　 师硕　朱叶　阎刚　吕华　 (74)专利代理 机构 天津翰林知识产权代理事务 所(普通合伙) 12210 专利代理师 付长杰 (51)Int.Cl. G06V 10/20(2022.01) G06V 10/30(2022.01) G06V 10/80(2022.01) G06V 10/82(2022.01)G06V 20/00(2022.01) G06V 40/16(2022.01) (54)发明名称 一种基于掩膜去噪和特征选择的人脸属性 编辑方法 (57)摘要 本发明为一种基于掩膜去噪和特征选择的 人脸属性编辑方法， 该方法针对人脸属性编辑， 设计的掩膜去噪模块能够在生成注意力掩膜的 时候只生 成与要更改属性有关的掩膜， 而去除掉 一些包含人脸信息的背景掩膜， 能够很好的完成 属性编辑的任务并同时保留非编辑区域的一致 性； 设计的特征选择单元能够在特征层面上筛选 图像的特征， 保留因为网络深度而回丢失的与属 性无关的特征， 并在解码过程中根据二进制属性 向量经由属性编码器丰富信息后的属性风格码 进行特征的风格融合； 采用的预训练篡改检测模 型能够更好的检测生成图像是否经过篡改， 提升 了模型生成图像的伪真性。 权利要求书6页 说明书15页 附图5页 CN 115546461 A 2022.12.30 CN 115546461 A 1.一种基于掩膜去噪和特 征选择的人脸属性编辑方法， 该 方法包括以下内容： 首先对人脸公开的数据集进行预处理， 获得输入的原始图像Imgreal， 每张人脸图像都对 应一个二进制属性标签； 构建一个掩膜去噪和特征选择的人脸属性编辑网络， 网络包含两部分： 生成器和判别 器； 生成器采用编码器 ‑解码器结构， 在此基础上添加掩膜去噪模块， 编码器包括5层卷积 块， 解码器包括4层转置选择块以及一层转置卷积块， 掩膜去噪模块包括4层转置选择块、 一 层坐标空间注意力层以及一层转置卷积块； 所述转置选择块包括转置卷积层和特征选择单元， 所述的特征选择单元包括属性无关 特征提取器和目标风格融合器， 属性无关特征提取器包括转置卷积层、 Adain自适应实例归 一化层、 ReLU激活层以及属性无关编码器， 目标风格融合器包括通道拼接操作、 Adain自适 应实例归一化层、 ReLU激活层和属性相关编码器； 所述的属性无关编码器和属性相关编码 器均由三层全连接模块构成， 全连接模块包括全连接层、 PixelNorm归一化层以及 LeakyReLU激活层； 特征选择单元先将编码器中对应卷积块输出的特征输入到属性无关特征提取器中， 并 根据属性无关风格码进行属性无关特征的提取， 将提取的属性无关特征与解码器或掩膜去 噪模块中对应转置选择块中转置卷积层输出的特征进 行通道拼接， 并将拼接后的特征输入 到目标风格融合器中与属性相关风格码进 行融合， 输出的是保留了属性无关信息并进 行属 性相关风格信息融合之后的特 征； 所述属性无关风格码由属性无关 向量输入属性无关编码器中获得， 所述属性相关风格 码由属性相关向量输入属性相关编 码器得到， 所述属性无关向量由对属性相关向量进 行取 反获得。 2.根据权利要求1所述的基于掩膜去噪和特征选择的人脸属性编辑方法， 其特征在于， 所述的卷积块由卷积核大小为4 ×4、 步长为2、 填充为1的卷积层、 BN批量归一化层、 LeakyReLU激活函数构成； 所述的转置选择块由卷积核大小为4 ×4、 步长为2、 填充为1的转置卷积层和特征选择 单元组成； 所述的转置卷积块由卷积核大小为4 ×4、 步长为2、 填充为1的转置卷积层、 BN批量归一 化层、 ReLU激活函数构成。 3.根据权利要求1所述的基于掩膜去噪和特征选择的人脸属性编辑方法， 其特征在于， 坐标空间注意力层 包括坐标注意力模块和空间注 意力模块， 输入的特征首先经过坐标注意 力模块， 得到的特征再与输入的特征相乘后输入空间注意力模块， 经过空间注意力模块的 特征与输入空间注意力模块的特 征相乘后得到最终的输出 特征； 所述坐标注意力模块的整体流程是： 输入的特征首先经过C ×H×1的X方向上的平均池 化、 以及C ×1×W的Y方向上的平均池化， 将经过池化后的两个特征进 行通道上的拼接， 然后 输入卷积核大小为1 ×1、 步长为1、 填充为0的卷积层， 再输入归一化BN层和ReLU激活函数 层， 输出的特征进 行通道上的分割， 分割成C ×H×1和C×1×W的两个特征， 将 两个不同尺 寸 的输出特征分别经过卷积层Conv和Sigmoid激活函数层后进行融合得到最后维度为C ×H× W的输出特征；权　利　要　求　书 1/6 页 2 CN 115546461 A 2所述空间注意力模块的整体流程是： 输入的特征首先依次经过最大池化和平均池化操 作， 再经过一层卷积层(Co nv)和Sigmo id激活函数层后输出最终特 征。 4.根据权利要求1所述的基于掩膜去噪和特征选择的人脸属性编辑方法， 其特征在于， 所述的掩膜去噪模块用于获取进 行人脸编辑时的属性坐标位置掩膜图， 掩膜去噪模块的输 入为图像经过编 码器后的特征， 特征输入到掩膜去噪模块中经过4层转置选择块， 将得到的 特征输入到坐标空间注意力层中， 用于对特征的维度、 高度、 宽度进行加权， 加权与属 性相 关的空间位置信息， 再将加权后的特征输入到最后一层转置卷积块中， 根据输入为 目标属 性标签还是原始属性标签分别得到两个注意力掩膜， 包含与属性相关的编辑掩膜和只进 行 图像重构与属 性无关的重构掩膜， 将得到的两个掩膜进行选择性融合， 得到只保留下与属 性相关的位置区域信息的属性掩膜， 将属性掩膜再与解码器输出的图像以及原图进行融合 得到最终的结果。 5.根据权利要求4所述的基于掩膜去噪和特征选择的人脸属性编辑方法， 其特征在于， 所述选择融合的过程按照公式(12)进行： 去除掉与重构掩膜中带有身份和背景的噪声区域相同的黑色区域， 突出编 辑掩膜中特 有的黑色属性区域； Maskf＝1+Maskt‑Masko    (12) 式(12)中， Maskf为经过掩膜去噪模块和选择融合之后得到的最终的属性掩膜； Maskt为 编辑掩膜， Masko为重构掩膜。 6.根据权利要求1所述的基于掩膜去噪和特征选择的人脸属性编辑方法， 其特征在于， 所述判别器包括两个判别器， 第一个判别器为篡改检测模型， 用来判断图像经过篡改的概 率； 第二个判别器由5层卷积模块和一个用于对抗损失判断图像真实或虚假的对抗头和另 一个用于对图像进行分类的分类头组成， 对抗头和分类头均为全连接层。 7.根据权利要求6所述的基于掩膜去噪和特征选择的人脸属性编辑方法， 其特征在于， 所述第二个判别器的卷积模块包括依次连接的卷积核大小为4 ×4、 步长为2、 填充为1的卷 积层， IN实例归一 化层以及LeakyReLU激活函数层。 8.一种基于掩膜去噪和特 征选择的人脸属性编辑方法， 该 方法的具体步骤是： 第一步， 通过编码器网络逐层提取输入人脸图像数据的特 征； 第1.1步， 对输入的人脸图像数据进行居中裁剪， 调整分辨率为128*128， 归一化、 张量 化处理， 获得经过预处理后的人脸图像数据， 作为输入的原 始图像Imgreal； 第1.2步， 将上述1.1步之后的人脸数据输入到编码器第一层卷积块中， 单张人脸 图像 的大小为128*128*3， 经过卷积核大小为4*4、 步长为2、 填充为1 的卷积层， 再经过BN批量归 一化层和LeakyReLU激活函数， 得到尺寸 为64*64*64的特征图 第1.3步， 将上一层卷积块的输出作为下一层卷积块的输入依次进行卷积操作， 如下公 式(1)所示； 式(1)中， 表示编码器第i层卷积块输出的特征， 表示第i‑1层卷积块输出的特 征， Conv表 示将特征输入到卷积块中操作， 具体操作为： 先进 行卷积核大小为4*4、 步长为2、 填充为1的卷积 操作， 再进行BN批量归一 化操作， 最后进行LeakyReLU激活操作；权　利　要　求　书 2/6 页 3 CN 115546461 A 3