(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211307882.7 (22)申请日 2022.10.25 (71)申请人 四川大学 地址 610000 四川省成 都市一环路南 一段 24号 (72)发明人 陈子涵　李思颖　张轶　 (74)专利代理 机构 北京天奇智新知识产权代理 有限公司 1 1340 专利代理师 叶明博 (51)Int.Cl. G06T 5/50(2006.01) G06V 10/774(2022.01) G06V 10/82(2022.01) G06T 3/00(2006.01) (54)发明名称 一种基于注意力机制的解耦表达国画生成 方法 (57)摘要 本发明涉及一种基于注意力机制的解耦表 达国画生成方法， 属于计算机视觉技术领域， 可 以将图片映射到内容空间和属性空间进行重组， 并通过内容判别器和交叉循环一致理论来保证 转换过程的一致性。 同时， 本方法采用MS ‑SSIM损 失函数和Charbonnier损失函数提升模型的质 量。 本发明通过注意力机制和潜空间的解耦表示 来实现， 两者的结合能够生 成高质量的中国传统 绘画， 通过Charbonnier损失函数以保证图像重 建， 同时利用交叉循环一致性约束来保证合成图 像的质量， 相较于现有方法， 本发明在模型训练 中能够将国画的风格特征与高斯 分布进行对齐， 因此本发明可以直接将随机高斯噪声作为特征 向量， 使合成的国画更 具艺术性和多样性。 权利要求书2页 说明书6页 附图3页 CN 115375601 A 2022.11.22 CN 115375601 A 1.一种基于注意力机制的解耦表达国画生成方法， 其特征在于： 所述国画生成方法包 括： 步骤一、 将白描画图像域设为 X， 工笔画图像域设为 Y， 并将样本 x和y分别输入注意力感 知网络中得到 xf的内容编码 和属性编码 ， 以及得到 yf的内容编码 和属性编 码 ； 步骤二、 将内容编码器和属性编码器处理得到的隐向量进行交换并融合， 得到 X域和Y 域的图像， 并融合背景图得到最终图像 x’和y’； 步骤三、 将内容编码器和属性编码器处理得到的隐向量直接 融合得到 X域和Y域的重建 图像 和 ， 将重建图像 和 与样本x和y的比较结果作为训练神经网络参数时的优化 方向， 以实现神经网络参数 更新； 步骤四、 通过判别器对生成的图像 x’和y’进行判断以及内容编码进行判断， 并对构建的 基于注意力机制的解耦表达生成对抗模型进行训练； 步骤五、 将步骤一中的样本 x和y替换为最终图像 x’和y’分别输入注意力感知网络中， 将 内容编码器和属性编 码器处理得到的隐向量进行 交换并融合， 得到交叉循环一致重 建图像 和 ， 将交叉循环一 致重建图像 和 与样本x和y的比较结果作为训练神经网络参数 时的优化方向； 步骤六、 在训练满足约束条件后通过训练好的模型完成白描画、 工笔画和水墨画不同 风格中国传统绘画图像之间的转 化。 2.根据权利要求1所述的一种基于注意力 机制的解耦表达国画生成方法， 其特征在于： 所述将样本 x和y分别输入注意力感知网络中得到 xf的内容编码 和属性编码 ， 以及 到yf的内容编码 和属性编码 包括： 分别将样本 x和y输入注意力感知网络中得到注意力图 xa和ya， 注意力图 xa和ya分别表示 对样本x和y核心区域的提取； 将注意力图 xa和样本x、 注意力图 ya和样本y融合后得到 x的前景被强化后的图 xf和y的 前景被强化后的图 yf； 把图xf馈送入图像域 X的属性编 码器 和内容编 码器 ， 得到xf的属性编 码 和内容 编码 ， 把图yf馈送入图像域 Y的属性编码器 和内容编码器 ， 得到yf的内容编码 和属性编码 。 3.根据权利要求1所述的一种基于注意力 机制的解耦表达国画生成方法， 其特征在于： 所述得到X域和Y域的图像， 并融合背景图得到最终图像包括： 将 和 融合馈送到 X域 的生成器 GX以生成X域的前景图像 ， 将 和 也可以通过 Y域的生权　利　要　求　书 1/2 页 2 CN 115375601 A 2成器GY生成Y域的前景图像 ， 并通过注意力模块将背景图和前景图进行融 合得到最终图像 x’和y’。 4.根据权利要求3所述的一种基于注意力 机制的解耦表达国画生成方法， 其特征在于： 所述通过判别 器对生成的图像 x’和y’进行判断以及内容编码进行判断包括： 通过域判别 器 DX和DY判断生成的最终图像 x’和y’是否属于图像 域X和图像域Y， 通过内容判 别器DC将接收的 和 两个内容编码以判断其是否属于同一分布。 5.根据权利要求1 ‑4中任意一项所述的一种基于注意力机制 的解耦表达国画生成方 法， 其特征在于： 所述基于注 意力机制的解耦表达生成对抗模 型包括由注意力模块、 四个编 码器、 两个生成器和三个判别器； 所述注意力模块由两个注 意力网络组成， 分别负责对图像 域X和图像域 Y的注意力图翻译； 所述编码 器用于得到图像域 X和图像域 Y的内容编 码和属性 编码； 所述生成器用于对送入编码进行融合得到相应的图像； 所述判别器用于对生成的图 像x’和y’进行判断以及内容编码进行判断。权　利　要　求　书 2/2 页 3 CN 115375601 A 3