(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210726310.6 (22)申请日 2022.06.23 (71)申请人 广州华多网络科技有限公司 地址 511442 广东省广州市番禺区南村镇 万达广场B1栋24层 (72)发明人 胡凌宇　 (74)专利代理 机构 广州利能知识产权代理事务 所(普通合伙) 44673 专利代理师 王增鑫 (51)Int.Cl. G06Q 30/02(2012.01) G06F 40/30(2020.01) G06F 40/186(2020.01) G06V 10/44(2022.01) (54)发明名称 广告文案创作模型制备方法及其装置、 设 备、 介质、 产品 (57)摘要 本申请涉及广告文案创作模型制备方法及 其装置、 设备、 介质、 产品， 所述方法包括： 采用生 成器预测出商品图片相对应的广告文案的文本 向量序列， 构造为第一类训练样本， 将其样本类 型标签标记为负样本； 获取第二类训练样本， 包 括商品图片及广告文案的编码向量序列， 根据商 品图片与广告文案是否配对相应标记样本类型 标签为正样 本或负样本； 采用训练样本中的商品 图片与文本向量序列或编码向量序列为输入将 判别器训练至收敛； 执行对由生成器与判别器构 成的生成对抗网络的训练任务， 采用第二类训练 样本中的商品图片作为输入， 在冻结判别器的权 重的条件下将生成器训练至收敛， 作为广告文案 创作模型用于为商品图片生成广告 文案。 权利要求书3页 说明书18页 附图7页 CN 115099855 A 2022.09.23 CN 115099855 A 1.一种广告 文案创作模型制备 方法， 其特 征在于， 包括： 采用预设的生成器预测出商品图片相对应的广告文案的文本向量序列， 将商品图片与 其文本向量序列构造为第一类训练样本， 将其样本类型 标签标记为负 样本； 获取预采集的第 二类训练样本， 每个第 二类训练样本包括商 品图片及广告文案的编码 向量序列， 根据商品图片与广告文案是否配对相应标记该训练样本的样本类型标签为正样 本或负样本； 执行对预设的判别器的训练任务， 采用所述的训练样本中的商品图片与文本向量序列 或编码向量序列为输入将判别器训练至收敛状态； 执行对由生成器与判别器构 成的生成对抗网络的训练任务， 采用第 二类训练样本 中的 商品图片作为输入， 假定监督标签为正样本计算损失值实施梯度更新， 在冻 结判别器的权 重的条件下将生成器训练至收敛状态， 输出为广告 文案创作模型。 2.根据权利要求1所述的广告文案创作模型制备方法， 其特征在于， 获取预采集的第 二 类训练样本， 每个第二类训练样本包括商品图片及广告文案的编码向量序列的步骤之前， 包括： 对第二类训练样本的广告 文案编制独热编码向量； 向所述独热编码向量 植入均匀分布噪声， 获得混杂编码向量； 将所述混杂编码向量归一 化至预定的数值区间， 获得 所述广告 文案的编码向量序列。 3.根据权利要求1所述的广告文案创作模型制备方法， 其特征在于， 执行对预设的判别 器的训练任务， 采用所述的训练样本中的商品图片与文本向量序列或编码向量序列为输入 将判别器训练至收敛状态， 包括： 调用任意一个所述的训练样本， 将其中的商 品图片输入判别器的图片编码器提取出图 像特征向量， 将其中的文本向量序列或编 码向量序列输入判别器的解码 器解码出文本向量 序列； 由判别器中的拼接层将其图片编码器获得的图像特征向量与其解码器获得的文本向 量序列进行 特征拼接获得合并特 征向量； 由判别器的二分类器对所述合并特征向量做分类映射， 将其映射到二分类空间中获得 对应正样本或负 样本的分类概 率； 根据所调用的训练样本的样本类型标签计算相应的分类概率的损失值， 在该损失值达 到预设阈值时判定判别器收敛而终止训练， 否则调用下一个训练样本继续对实施迭代训 练。 4.根据权利要求1所述的广告文案创作模型制备方法， 其特征在于， 执行对由生成器与 判别器构成的生成对抗网络的训练任务， 采用第二类训练样本中的商品图片作为输入， 假 定监督标签为正样本计算损失值 实施梯度更新， 在冻结判别器的权重的条件下将生成器训 练至收敛状态， 输出为广告 文案创作模型， 包括： 将生成器的解码器的输出接入判别器的解码器构造出生成对抗网络， 冻结判别器的权 重； 调用单个第 二类训练样本， 将其中的商 品图片作为生成器的图片编码器和判别器的图 片编码器的输入以分别提取图像特 征向量； 由所述生成器 中的解码器根据生成器获得的图像特征向量预测出第 一文本向量序列，权　利　要　求　书 1/3 页 2 CN 115099855 A 2输入至判别器的解码器中进一步预测出第二文本 向量序列， 其中， 解码器前一步解码所得 的文本向量用于查询商品图片的图像特征中的关键特征作为后一步的文本 向量相对应的 输入向量； 由判别器的拼接层将判别器提取商品图片所得的图像特征向量与第二文本向量序列 相拼接获得合并特 征向量； 由判别器的二分类器对所述合并特征向量做分类映射， 将其映射到二分类空间中获得 对应正样本或负 样本的分类概 率； 假定所调用的训练样本的监督标签为正样本计算损失值， 在该损失值达到预设阈值 时 判定生成器收敛而终止训练， 否则调用下一个第二类训练样本继续实施迭代训练。 5.根据权利要求1所述的广告文案创作模型制备方法， 其特征在于， 输出为广告文案创 作模型的步骤之后， 包括： 获取目标商品的商品图片； 经广告文案创作模型的图片编码器提取出商 品图片的图像特征， 获得商 品图片映射到 特定语义空间的图像特 征向量； 将所述图像特征向量作为初始的输入向量提供给广告文案创作模型的解码器逐步自 回归解码出广告文案的文本序列中的各个文本 向量， 其中， 前一步的文本 向量用于查询商 品图片的图像特 征中的关键特 征作为后一 步的文本向量相对应的输入向量； 根据广告文案创作模型的解码器预测出的文本向量序列还原出广告 文案。 6.根据权利要求5所述的广告文案创作模型制备方法， 其特征在于， 将所述图像特征向 量作为初始的输入向量提供给解码器逐步自回归解码出广告文案的文本序列中的各个文 本向量， 包括： 将所述图像特 征向量作为初始的输入向量输入至所述 解码器开始逐步 解码； 每一步解码后， 解码器根据所述输入向量预测出其对应的文本向量， 将该文本向量自 回归传递至预设的注意力层； 注意力层根据自回归的文本向量查询出图片编码器提取图像特征过程中的图像特征 信息中的关键特 征向量； 将该关键特征向量作为解码器下一步解码的输入向量继续迭代预测出下一文本向量， 直至完成广告 文案的文本序列相对应的各个文本向量的预测。 7.根据权利要求6所述的广告文案创作模型制备方法， 其特征在于， 注意力层根据自回 归的文本向量查询出图片编 码器提取图像特征过程中的图像特征信息中的关键特征向量， 包括： 以自回归的文本向量为查询向量， 以图片编码器的图像特征信息为键向量和值向量， 将查询向量与键向量进行交 互以确定出商品图片的关键向量； 将所述关键向量进行归一 化计算出注意力权 重， 获得权 重向量； 以所述权 重向量对所述 值向量加权求和获得关键特 征向量。 8.一种广告 文案创作模型制备装置， 其特 征在于， 包括： 第一样本生成模块， 用于采用预设的生成器预测出商 品图片相对应的广告文案的文本 向量序列， 将商品图片与其文本向量序列构造为第一类训练样本， 将其样本类型标签标记 为负样本；权　利　要　求　书 2/3 页 3 CN 115099855 A 3