(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210626467.1 (22)申请日 2022.06.02 (71)申请人 腾讯科技 （深圳） 有限公司 地址 518000 广东省深圳市南 山区高新区 科技中一路腾讯大厦3 5层 (72)发明人 罗宇辰　朱俊伟　贺珂珂　储文青　 邰颖　汪铖杰　 (74)专利代理 机构 北京市立方律师事务所 11330 专利代理师 张筱宁 (51)Int.Cl. G06T 3/00(2006.01) G06T 3/40(2006.01) G06V 10/74(2022.01) G06V 40/16(2022.01)G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 图像处理方法、 装置、 计算机设备、 存储介质 及程序产品 (57)摘要 本申请提供一种图像处理方法、 装置、 计算 机设备、 存储介质及程序产品， 涉及人工智能、 机 器学习、 智慧交通等技术领域。 通过将源图像的 身份特征输入已训练的换脸模块中的生成器， 并 将目标图像的至少一个尺度的初始属性特征分 别输入该生成器中对应尺度的卷积层， 得到目标 换脸图像； 而在该生成器的各个卷积层中， 可基 于身份特征和上一卷积层输出的第一特征图， 生 成第二特征图； 并基于第二特征图和初始属性特 征， 确定该目标图像在对应尺度的控制掩膜， 以 精确地定位目标脸部的身份特征之外的特征的 像素点； 通过基于控制掩膜筛选出目标属性特 征， 基于该目标属性特征和该第二特征图， 生成 第三特征图， 并输出给下一卷积层， 提高了换脸 的精确度。 权利要求书3页 说明书20页 附图5页 CN 114972016 A 2022.08.30 CN 114972016 A 1.一种图像处 理方法， 其特 征在于， 所述方法包括： 响应于接收到的换脸请求， 获取源图像的身份特征、 以及目标图像的至少一个尺度的 初始属性特 征； 所述换脸请求用于请求将所述目标图像中的目标脸部换为所述源图像中的源脸部， 所 述身份特征表征所述源脸部所属的对象， 所述初始属性特征表征所述目标脸部的三维属 性； 将所述身份特征输入已训练 的换脸模块中的生成器， 并将所述至少一个尺度的初始属 性特征分别输入所述生成器中对应尺度的卷积层， 输出目标换脸图像， 所述 目标换脸图像 中脸部融合所述源脸部的身份特 征和所述目标脸部的目标属性特 征； 其中， 通过所述生成器的各个卷积层， 对所输入的身份特征和对应尺度的初始属性特 征执行以下步骤： 获取当前 卷积层的上一卷积层输出的第一特 征图； 基于所述身份特征和所述第一特征图， 生成第二特征图， 并基于所述第二特征图和所 述初始属 性特征， 确定所述 目标图像在对应尺度的控制掩膜， 所述控制掩膜表征承载目标 脸部的身份特 征之外的特 征的像素点； 基于所述控制掩膜， 对所述初始属性特 征进行筛 选， 得到目标属性特 征； 基于所述目标属性特征和所述第二特征图， 生成第三特征图， 并将所述第三特征图输 出至所述当前 卷积层的下一卷积层， 以作为下一卷积层的第一特 征图。 2.根据权利要求1所述的方法， 其特征在于， 所述基于所述身份特征和所述第一特征 图， 生成第二特 征图， 包括： 对所述身份特 征进行仿射变换， 得到第一控制向量； 基于所述第一控制向量， 将所述当前卷积层的第一卷积核 映射为第二卷积核， 并基于 所述第二卷积核对所述第一特 征图进行 卷积操作， 生成第二特 征图。 3.根据权利要求1所述的方法， 其特征在于， 所述基于所述第 二特征图和所述初始属性 特征， 确定所述目标图像在对应尺度的控制掩膜， 包括： 将所述第二特 征图和所述初始属性特 征进行特征拼接， 得到拼接特 征图； 基于预配置的映射卷积核和激活函数， 将所述 拼接特征图映射 为所述控制掩膜。 4.根据权利要求1所述的方法， 其特 征在于， 所述换脸模型的训练方式， 包括： 获取样本数据集， 所述样本数据集包括至少一对样本 图像， 每对样本 图像包括一个样 本源图像和一个样本目标图像； 将所述样本数据集输入初始模型， 获取每对样本 图像中样本源图像的样本身份特征、 以及样本目标图像的至少一个尺度的样本初始属性特 征； 通过所述初始模型的初始生成器， 基于每对样本 图像中样本源图像的样本身份特征、 以及样本目标图像的至少一个尺度的样本初始属 性特征， 确定至少一个尺度的样本掩膜， 并基于所述样本身份特征、 至少一个尺度的样本掩膜和样本初始属 性特征， 生成所述每对 样本图像对应的样本生成图像； 将每对样本图像中样本源图像和样本生成图像输入所述初始模型的初始鉴别器， 得到 所述初始鉴别器分别对所述样本源图像和所述样本生成图像的鉴别结果； 对于每对样本图像， 基于所述每对样本图像中样本目标图像的至少一个尺度的样本掩权　利　要　求　书 1/3 页 2 CN 114972016 A 2膜， 确定第一损失值， 并基于所述初始鉴别器分别对所述样本源图像和所述样本生成图像 的鉴别结果， 确定第二损失值； 基于所述至少一对样本图像对应的第一损失值和第二损失值， 得到训练总损失； 基于所述训练总损 失对所述初始模型进行训练， 直至符合目标条件时停止训练， 得到 所述换脸模型。 5.根据权利要求4所述的方法， 其特征在于， 所述至少一对样本图像包括至少一对第 一 样本图像以及至少一对第二样本图像， 所述第一样本图像包括属于相同对象的样本源图像 和样本目标图像， 所述第二样本图像包括属于不同对象的样本源图像和样本目标图像； 所述基于所述至少一对样本图像对应的第 一损失值和第 二损失值， 得到训练总损失包 括： 基于所述至少一对第 一样本图像所包括样本生成图像和样本目标图像， 获取所述至少 一对第一样本图像对应的第三损失值； 基于所述至少一对第 一样本图像对应的第 三损失值、 以及所述至少一对样本图像对应 的第一损失值和第二损失值， 得到所述训练总损失。 6.根据权利要求4所述的方法， 其特征在于， 所述初始鉴别器包括至少一个初始卷积 层； 所述基于所述至少一对样本图像对应的第一损失值和第二损失值， 得到训练总损失包 括： 对于每对样本图像， 确定第 一鉴别特征图的非脸部区域和第 二鉴别特征图的非脸部区 域之间的第一相似度， 所述第一鉴别特征图为至少一个初始卷积层中第一部分初始卷积层 输出的样本目标图像对应的特征图， 所述第二鉴别特征图为所述第一部分初始卷积层输出 的样本生成图像对应的特 征图； 确定第三鉴别特征图和第四鉴别特征图之间的第 二相似度， 所述第 三鉴别特征图为至 少一个初始卷积层中第二部 分卷积层输出的样本目标图像对应的特征图， 所述第四鉴别特 征图为所述第二部分初始卷积层输出的样本生成图像对应的特 征图； 基于每对样本图像对应的第 一相似度和第 二相似度， 确定至少一对样本图像对应的第 四损失值； 基于所述至少一对样本 图像对应的第一损 失值、 第二损 失值和所述第 四损失值， 得到 所述训练总损失。 7.根据权利要求4所述的方法， 其特征在于， 所述基于所述至少一对样本图像对应的第 一损失值和第二损失值， 得到训练总损失包括： 对于每对样本 图像， 分别提取样本源图像的第一身份特征、 样本目标图像的第二身份 特征和样本生成图像的第三身份特 征； 基于所述第 一身份特征和第 三身份特征， 确定所述样本源图像和所述样本生成图像之 间的第一身份相似度； 基于所述第 二身份特征和第 三身份特征， 确定所述样本生成图像和样本目标图像之间 的第一身份距离； 基于所述第 一身份特征和第 二身份特征， 确定所述样本源图像和样本目标图像之间的 第二身份距离； 基于所述第一身份距离和第二身份距离， 确定距离 差异；权　利　要　求　书 2/3 页 3 CN 114972016 A 3