(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210623258.1 (22)申请日 2022.06.01 (71)申请人 电子科技大 学长三角研究院 （衢州） 地址 324000 浙江省衢州市柯 城区芹江东 路288号1幢18楼 (72)发明人 龚海刚　刘明　邓攀　王晓敏　 刘明辉　 (74)专利代理 机构 北京天奇智新知识产权代理 有限公司 1 1340 专利代理师 许驰 (51)Int.Cl. G06T 11/00(2006.01) G06V 10/44(2022.01) G06V 10/764(2022.01) G06V 10/774(2022.01)G06V 10/82(2022.01) G06N 3/04(2006.01) (54)发明名称 一种基于生成对抗网络的两阶段图像生成 方法 (57)摘要 本发明涉及一种基于生成对抗网络的两阶 段图像生成方法， 包括： 图像特征生成步骤： 通过 残差网络捕获输入图像的特征， 训练一个特征生 成网络， 使用GAN拟合图像经过捕获网络后的特 征进而得到特征生成器， 并通过判别器区分图像 经过捕获网络的特征和特征生 成器生成的特征； 图像生成步骤： 固定图像特征生成步骤训练得到 的特征生成器的参数， 加入到新的图像生成网 络， 让随机噪声先经过特征生成器， 然后将输出 传入到图像生成器中得到最终生成的图像。 本发 明在阶段一先通过一个生成网络学习图像的特 征， 然后在 阶段二通过对抗网络生成图像。 相比 于传统的GAN优化方法， 能够降低GAN的训练难 度、 提高生成模式的多样性、 提升图像生成质量。 权利要求书1页 说明书5页 附图3页 CN 114972568 A 2022.08.30 CN 114972568 A 1.一种基于生成对抗网络的两阶段图像生成方法， 其特征在于： 所述两阶段图像生成 方法包括： 图像特征生成步骤： 通过残差网络捕获输入图像的特征， 训练一个特征生成网络， 使用 GAN拟合图像经过捕获网络后的特征进而得到特征生成器， 并通过判别器区分图像经过捕 获网络的特 征和特征生成器生成的特 征； 图像生成步骤： 固定 图像特征生成步骤训练得到的特征生成器的参数， 加入到新的图 像生成网络， 让随机噪声先经过特征生成器， 然后将输出传入到图像生成器中得到最终生 成的图像， 判别器判别真实 图像和图像生成器生成 图像的特征区别， 并指导特征生成器的 生成。 2.根据权利要求1所述的一种基于生成对抗网络的两阶段图像生成方法， 其特征在于： 所述判别器判别真实图像和图像生成器生成图像的特征区别， 并指导特征生成器的生成包 括： ， 判别器判别真实图像和图像生成器生成图像的特征区别， 如果真实图像和图像生 成器 生成图像的特征区别不满足要求时， 将此时的特征作为特征生成器的学习对象重新生成特 征生成器， 直到真实图像和图像生成器生成图像的特 征区别满足要求。 3.根据权利要求1所述的一种基于生成对抗网络的两阶段图像生成方法， 其特征在于： 所述图像特征生成步骤中图像经过残差网络经过卷积操作产生特征图， 特征图中包含了图 像的特征信息， 残差网络经 过不断操作将特 征图输出为分类信息 。 4.根据权利要求1所述的一种基于生成对抗网络的两阶段图像生成方法， 其特征在于： 所述图像特 征生成步骤和图像生成步骤中采用的损失函数均为： 其中GP为梯度惩罚项， CT为 表示连续性 正则项， G＝Gi(Gf)， Gi表示图像 生成器， Gf表示特征生成器， 即随机噪声先经过Gf然后其输出 经过Gi。权　利　要　求　书 1/1 页 2 CN 114972568 A 2一种基于生成 对抗网络的两阶段图像生成方 法 技术领域 [0001]本发明涉及计算机视觉技术领域， 尤其涉及一种基于生成对抗网络的两阶段图像 生成方法。 背景技术 [0002]深度学习在计算机视觉领域的表 现十分亮眼， 基于深度学习的方法能够处理很多 图像相关的问题， 比如图像生成、 图像修复等。 生成式对抗网络(Generation  Adversarial   Network,GAN)作为深度学习中的一种重要 方法， 能够生 成高质量的图像， 用于扩充数据集、 图像分类等。 生成式对抗网络能够有效地学习真实分布， 可以通过一个生成器和一个判别 器来完成生成任务。 GA N能够模仿真实图像进而生 成与之相同类型的图像， 这样就可以解决 一些实验中训练数据不足的问题， 而且GAN在生成图像时还解决了标注数据不足的问题； GAN还能将对话、 文字转化 成图像。 因此GAN的研究具有十 分重大的意义， 能够在各种领域解 决问题。 [0003]虽然生成式对抗网络的表现很好， 但其存在缺点而且训练也有难度。 GAN在设计上 是一种生成器和判别器不断更新优化直至纳什均衡状态的模型。 虽然GAN存在理论上 的最 优解， 但是在实际操作中， GAN存在着许多问题， 比如训练不稳定、 梯度消失、 模式崩溃等 问 题。 原始GAN的优化目标是真实数据和生成数据间的交叉熵， 通过不断减少交叉熵， 让生成 和真实数据分布的差距变小， 生成数据更加像真实数据。 训练中若在判别器最优的时， 最小 化生成模型 的损失变成一个固定的常数， 这导致了生成模型在训练中的梯度消失， 整个网 络不能进一步更新优化； 若判别器训练的不好， 判别器对于不好的生成样本也给出了 “鼓 励”， 那么生成器就会继续生成类似的不好样本， 导致样本生成效果不好， 而判别器和生成 器彼此不自知； 只有在判别器训练的恰好， 其辨别能力刚刚好， 此时整个网络能够向正确的 方向不断优化， 生 成出接近 真实的样本。 所以GA N难以训练的原因之一就是 因为实际训练中 的分寸很难把握。 [0004]由于GAN存在训练不稳定问题， 有时候生成图像的质量参差， 缺少多样性， 往往需 要对其优化。 但是这些工作的模型训练上本质上还是原始GAN的思想， 因此对GAN训练仍然 存在不稳定、 生成样本多样性 不足、 图像生成质量差的问题。 发明内容 [0005]本发明的目的在于克服现有技术的缺点， 提供了一种基于生成对抗网络的两阶段 图像生成方法， 解决了 现有技术没有从生 成对抗网络的训练过程着 手对GAN进行优化， 导致 GAN训练不稳定、 样本多样化 不足以及生成图像质量差的问题。 [0006]本发明的目的通过以下技术方案来实现： 一种基于生成对抗网络的两阶段图像生 成方法， 所述两阶段图像生成方法包括： [0007]图像特征生成步骤： 通过残差网络捕获输入图像的特征， 训练一个特征生成网络， 使用GAN拟合图像经过捕获网络后的特征进而得到特征生成器， 并通过判别器区分图像经说　明　书 1/5 页 3 CN 114972568 A 3