(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211462844.9 (22)申请日 2022.11.22 (71)申请人 阿里巴巴 （中国） 有限公司 地址 311121 浙江省杭州市余杭区五常街 道文一西路969号3幢5层5 54室 (72)发明人 周敏　马也　林金鹏　侯兴林　 张渊猛　史斌斌　曹耘宁　许晨晨　 高逸凡　蒋刚玮　王诗瑶　葛铁铮　 姜宇宁　 (74)专利代理 机构 北京太合九思知识产权代理 有限公司 1 1610 专利代理师 张爱 (51)Int.Cl. G06T 7/73(2017.01) G06V 10/764(2022.01)G06T 5/50(2006.01) (54)发明名称 图像处理与数据渲染方法、 设备及 介质 (57)摘要 本申请实施例提供一种图像处理与数据渲 染方法、 设备及介质。 本申请实施例提供一种不 依赖于人工设计模板能够自动生成图像的方案， 以图片素材为中心， 不以模板为中心， 基于目标 素材图， 经过基底图像、 图像布局 信息、 图上文案 信息的生 成以及视觉属性预估与渲染， 即可得到 任意尺寸且质量达标的合成图像。 在图像布局、 图上文案以及视觉属性方面均可自主设计， 不再 受模板上固定位的约束和限制， 在图像布局上更 加灵活和合理， 合成元素可 以避开主体， 加强主 体突出性， 提高视觉融合度， 增强合成图像的原 生感； 在文案信息上也更具表现力； 在视觉属性 上颜色搭配更加丰富， 合 成图像在视觉和投放效 果上均较优异。 而且适合大规模应用， 实现成本 较低。 权利要求书5页 说明书36页 附图12页 CN 115511969 A 2022.12.23 CN 115511969 A 1.一种图像处 理方法， 其特 征在于， 包括： 根据包含主体对象的目标素材图生成基底图像， 所述目标素材图具有原始尺寸， 所述 基底图像具有目标尺寸； 将所述基底图像输入图像布局模型进行图像布局， 以得到所述基底图像的图像布局信 息， 所述图像布局信息包括所述基底图像上用于承载至少一个待合成元素的至少一个目标 区域的位置和类别； 将所述基底图像、 所述至少一个目标区域的位置和类别以及所述主体对象对应的基础 素材信息输入文案生成模型进 行文案信息的生成， 以得到所述至少一个待合成元素中的文 案信息； 根据所述基底图像和所述至少一个目标区域的位置和类别， 对所述至少一个待合成元 素进行视 觉属性的估计， 得到所述至少一个待合成元 素的视觉属性； 根据所述至少一个目标区域的位置、 类别以及所述至少一个待合成元素的视觉属性， 至少将所述至少一个待合成元素中的文案信息渲 染至所述基底图像上， 以得到目标合成图 像。 2.根据权利要求1所述的方法， 其特征在于， 在根据包含主体对象的目标素材图生成基 底图像之前， 还 包括： 获取包含主体对象的至少一张原始素材图； 将所述至少一张原始素材图输入图像质量 分类模型进行质量分类， 以得到每张原 始素材图的质量类别； 根据每张原始素材图的质量类别， 从中选择图像质量适合作为基底图像的原始素材 图， 作为目标 素材图。 3.根据权利要求1所述的方法， 其特征在于， 根据包含主体对象的目标素材图生成基底 图像， 包括： 将目标素材图送入元素检测模型进行图上元素解析， 以得到所述目标素材图中包含的 原始合成元 素及其属性信息； 根据所述原始合成元素的属性信 息对所述目标素材图进行修复， 以得到不包含所述原 始合成元 素的修复素 材图； 根据所述目标尺寸与 所述原始尺寸的大小关系， 对所述修复素材图进行图像重定向处 理， 以得到具有所述目标尺寸的基底图像。 4.根据权利要求3所述的方法， 其特征在于， 将目标素材图送入元素检测模型进行图上 元素解析， 以得到所述目标 素材图包含的原始合成元 素及其属性信息， 包括： 将所述目标素材图送入元素检测模型中的特征提取层进行特征提取， 得到所述目标素 材图对应的第一特 征图； 将所述第一特征图送入所述元素检测模型中基于自注意力机制的元素识别层进行合 成元素的识别， 以得到所述目标 素材图中包 含的原始合成元 素对应的第二特 征图； 将所述第二特征图送入所述元素检测模型中的属性标注层进行属性标注， 以得到所述 原始合成元 素的位置、 大小和类别。 5.根据权利要求3所述的方法， 其特征在于， 根据 所述原始合成元素的属性信 息对所述 目标素材图进行修复， 以得到不包 含所述原 始合成元 素的修复素 材图， 包括： 将所述目标素材图和所述原始合成元素的属性信息输入图像修复模型中的掩码处理权　利　要　求　书 1/5 页 2 CN 115511969 A 2网络， 根据所述原始合成元素 的属性信息对所述 目标素材图进行掩码处理， 得到掩码素材 图， 所述掩码素 材图中包括对所述原 始合成元 素进行掩码处 理得到的待修复区域； 将所述掩码素材图输入所述图像修复模型中的图像修复网络， 根据所述待修复区域周 边区域的像素值， 对所述待修复区域进行修复， 以得到不包含所述原始合成元素 的修复素 材图。 6.根据权利要求5所述的方法， 其特征在于， 在所述原始合成元素中包含文案信 息的情 况下， 则在将所述目标素材图和所述原始合成元素的属性信息输入图像修复模型中的图像 预处理网络之前， 还 包括： 利用基于生成对抗网络实现的文字擦除模型将所述目标素材图中包含的文案信息擦 除， 并根据所述目标素材图上其它区域的信息对擦除所述文案信息的区域进 行背景内容的 补充， 以得到擦除文案信息后的目标 素材图。 7.根据权利要求6所述的方法， 其特 征在于， 还 包括： 从原始文案 图像中提取原始文案信息， 根据合成策略网络给定的图片合成文案规则， 基于所述原始文案信息生成目标文案信息， 将所述目标文案信息合成到原始文案图像中的 非文字区域以得到目标文案图像； 以及将所述目标文案图像和所述原始文案图像作为训练 样本对生成对抗网络进行模型训练， 直至三元擦除损失函数和生成对抗损失函数均满足要 求为止， 得到文字擦除模型， 所述三元擦除损失函数是根据所述原始文案图像以及所述生 成对抗网络中的生成器在两阶段的输出图像生成的损失函数。 8.根据权利要求7 所述的方法， 其特 征在于， 还 包括： 将所述目标文案图像以及所述生成器在模型训练过程中的输出图像输入所述合成策 略网络， 以使 所述合成策略网络更新图片合成文案规则； 其中， 所述生成器的输出图像是擦 除所述目标文案图像中的目标文案信息后得到的图像。 9.根据权利要求3所述的方法， 其特征在于， 根据 所述目标尺寸与所述原始尺寸的大小 关系， 对所述修复素材图进行图像重定向处理， 以得到具有所述目标尺寸的基底图像， 包 括： 根据所述目标尺寸与 所述原始尺寸的大小关系， 以所述修复素材图为基础确定待裁剪 图像， 所述待裁 剪图像为所述 修复素材图或所述 修复素材图的延展图像； 将所述待裁剪图像输入基于图像重要度的显著性裁剪模型， 根据 所述待裁剪图像的显 著性特征锁定所述主体对象所在的图像区域， 按照所述目标尺寸以所述主体对象所在的图 像区域为中心对所述待裁 剪图像进行裁 剪， 得到具有所述目标尺寸的基底图像。 10.根据权利要求9所述的方法， 其特征在于， 根据所述目标尺寸与所述原始尺寸的大 小关系， 以所述 修复素材图为基础确定待裁 剪图像， 包括： 在所述目标尺寸大于所述原始尺寸的情况下， 将所述修复素材图和所述目标尺寸输入 图像延展模型， 按照所述目标尺寸对所述修复素材图进 行图像延展， 得到延展图像， 并将所 述延展图像作为待裁 剪图像； 在所述目标尺寸小于或等于所述原始尺寸的情况下， 直接将所述修复素材图作为待裁 剪图像。 11.根据权利要求10所述的方法， 其特征在于， 将所述修复素材图和所述目标尺寸输入 图像延展模型， 按照所述目标尺寸对所述 修复素材图进行图像延展， 得到延展图像， 包括：权　利　要　求　书 2/5 页 3 CN 115511969 A 3