(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210518677.9 (22)申请日 2022.05.12 (71)申请人 北京百度网讯科技有限公司 地址 100085 北京市海淀区上地十街10号 百度大厦2层 (72)发明人 周航　徐志良　刘家铭　洪智滨　 (74)专利代理 机构 中科专利商标代理有限责任 公司 11021 专利代理师 鄢功军 (51)Int.Cl. G06V 10/44(2022.01) G06V 10/46(2022.01) G06V 10/82(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 图像生成方法、 图像生成模型的训练方法、 装置和设备 (57)摘要 本公开提供了一种图像生 成方法， 涉及人工 智能技术领域， 尤其涉及深度学习、 图像处理和 计算机视觉技术领域。 具体实现方案为： 获取输 入掩码信息和模板图像的第一特征图， 其中， 输 入掩码信息是根据所述模板图像的第二特征图 和源图像的标识信息得到的； 根据输入掩码信息 和模板图像的第一特征图， 得到融合特征图； 以 及根据标识信息和融合特征图， 进行图像生成。 本公开还提供了一种图像生 成模型的训练方法、 装置、 电子设备和存 储介质。 权利要求书3页 说明书16页 附图10页 CN 114782708 A 2022.07.22 CN 114782708 A 1.一种图像生成方法， 包括： 获取输入掩码信息和模板 图像的第一特征图， 其中， 所述输入掩码信息是根据所述模 板图像的第二特 征图和源图像的标识信息得到的； 根据所述输入 掩码信息和所述第一特 征图， 得到融合特 征图； 以及 根据所述标识信息和所述融合特 征图， 进行图像生成。 2.根据权利要求1所述的方法， 其中， 所述根据所述输入掩码信息和所述第一特征图， 得到融合特 征图包括： 根据所述输入 掩码信息和所述第一特 征图， 得到融合信息； 以及 将所述融合信息和所述第一特 征图融合， 得到所述融合特 征图。 3.根据权利要求1所述的方法， 其中， 所述根据所述标识信息和所述融合特征图， 进行 图像生成包括： 根据所述标识信息和所述融合特 征图， 得到中间特 征图； 以及 对所述中间特 征图进行第一卷积处 理， 以进行图像生成。 4.根据权利要求3所述的方法， 其中， 所述模板图像的特征图包括I级特征图， 所述第一 特征图为所述I级 特征图中的第i级特征图， 所述第二特征图为所述I级 特征图中的第i ‑1级 特征图， i为大于1的整数， I 为大于或等于1的整数， i 为小于或等于I的整数。 5.根据权利要求4所述的方法， 其中， 所述根据所述标识信息和所述融合特征图， 进行 图像生成还 包括： 对第i级中间特 征图进行第二卷积处 理， 得到第i级掩码信息； 其中， 所述输入 掩码信息为第i ‑1级掩码信息 。 6.根据权利要求4所述的方法， 其中， 所述输入掩码信 息是根据 所述第二特征图和所述 标识信息执 行以下操作得到的： 根据所述标识信息和所述 I级特征图中的第1级特 征图， 得到第1级中间特 征图； 对所述第1级中间特 征图进行 所述第一卷积处 理， 得到第1级卷积后图像； 根据第1级卷积后图像， 得到第1级处 理后图像； 以及 对所述第1级中间特征图进行第二卷积处理， 得到第1级掩码信息， 作为所述输入掩码 信息。 7.根据权利要求5或6所述的方法， 其中， 所述对所述中间特征图进行第一卷积处理包 括： 对所述第i级中间特 征图进行 所述第一卷积处 理， 得到第i级卷积后图像； 根据所述第i级卷积后图像和第i ‑1级处理后图像， 进行图像生成， 得到第i级处理后图 像。 8.一种图像生成模型的训练方法， 包括： 根据第i‑1级掩码信息和模板图像的第i级特征图， 得到第i级融合特征图， 其中， i为大 于1的整数， i 为小于或等于I的整数， I 为大于1的整数； 根据源图像的标识信息和所述第i级融合特征图， 得到第i级掩码信息和第i级处理后 图像； 以及 根据第I级处 理后图像和所述源图像之间的差异， 训练所述图像生成模型。 9.根据权利要求8所述的方法， 其中， 所述根据第i ‑1级掩码信息和模板图像的第i级特权　利　要　求　书 1/3 页 2 CN 114782708 A 2征图， 得到第i级融合特 征图包括： 根据所述第i级特 征图和所述第i ‑1级掩码信息， 得到第i级融合信息； 以及 将所述第i级融合信息和所述第i级特 征图融合， 得到所述第i级融合特 征图。 10.根据权利要求8所述的方法， 其中， 所述根据源图像的标识信 息和所述第 i级融合特 征图， 得到第i级掩码信息和第i级处 理后图像包括： 根据所述标识信息和所述第i级融合特 征图， 得到第i级中间特 征图； 对所述第i级中间特 征图进行第一卷积处 理， 得到所述第i级处 理后图像； 以及 对所述第i级中间特 征图进行第二卷积处 理， 得到所述第i级掩码信息 。 11.根据权利要求10所述的方法， 其中， 所述对所述第i级中间特征图进行第一卷积处 理， 得到所述第i级处 理后图像包括： 对所述第i级中间特 征图进行 所述第一卷积处 理， 得到第i级卷积后图像； 以及 将所述第i级卷积后图像和所述第i ‑1级处理后图像融合， 得到所述第i级处 理后图像。 12.根据权利要求10所述的方法， 其中， 所述对所述第i级中间特征图进行第二卷积处 理， 得到所述第i级掩码信息包括： 对所述第i级中间特 征图进行 所述第二卷积处 理， 得到第i级中间掩码信息； 以及 将所述第i级中间掩码信息和所述第i ‑1级掩码信息融合， 得到所述第i级掩码信息 。 13.根据权利要求8所述的方法， 其中， 还 包括： 根据所述标识信息和所述模板图像的第1级特征图， 得到第1级掩码信息和第1级处理 后图像。 14.根据权利要求13所述的方法， 其中， 所述根据所述标识信息和所述模板 图像的第1 级特征图， 得到第1级掩码信息和第1级处 理后图像包括： 根据所述标识信息和所述第1级特 征图， 得到第1级中间特 征图； 对所述第1级中间特 征图进行第一卷积处 理， 得到所述第1级处 理后图像； 以及 对所述第1级中间特 征图进行第二卷积处 理， 得到所述第1级掩码信息 。 15.根据权利要求8所述的方法， 其中， 所述根据第 I级处理后图像和所述源图像之间的 差异， 训练所述图像生成模型包括： 根据所述第I级处 理后图像和所述源图像， 确定 重构损失和标识损失； 根据第I级掩码信息和预设掩码信息， 确定背景损失； 以及 根据所述重构损失、 所述标识损失和所述背景损失， 确定所述差异。 16.一种图像生成装置， 包括： 获取模块， 用于获取输入掩码信息和模板图像的第 一特征图， 其中， 所述输入掩码信 息 是根据所述模板图像的第二特 征图和源图像的标识信息得到的； 第一获得模块， 用于根据所述输入 掩码信息和所述第一特 征图， 得到融合特 征图； 以及 生成模块， 用于根据所述标识信息和所述融合特 征图， 进行图像生成。 17.一种图像生成模型的训练装置， 包括： 第二获得模块， 用于根据第i ‑1级掩码信息和模板图像的第i级特征图， 得到第i级融合 特征图， 其中， i 为大于1的整数， i 为小于或等于I的整数， I 为大于1的整数； 第三获得模块， 用于根据源图像的标识信息和所述第i级融合特征图， 得到第i级掩码 信息和第i级处 理后图像； 以及权　利　要　求　书 2/3 页 3 CN 114782708 A 3