| 基于知识图谱的商品营 销文案自动生成实践 李浩然 京东科技 目录 CONTENT 01 导言 02 基于商品要素的多模态商品文案生成 03 基于电商知识图谱的商品文案生成 04 基于通用知识图谱的商品文案生成 05 基于领域知识的预训练语言模型 | | 01 导言 导言——京东科技商品营销文案自动生成全景 输 出 模 型 卖 点 与 要 素 商品营销短文 这款美的壁挂式空调，唯美绚丽白，点缀你的房间。搭载一级能效压缩机，节能省电。智能温 控系统让你享受舒适环境。 编码器 解码器 文本编码器 受限解码 图片编码器 复制机制 属性 卖点 特性 一级能效压缩机，节能省电 颜色 唯美绚丽白，点缀你的房间 频率 采用变频技术，快速制冷制热 类型 壁挂式空调，节省空间 商详页文本 商品标题 句间流畅 度模型 预训练语 言模型 要素 电 机 静 音 要素词 商品知识图谱 输 品牌 美的 入 频率 变频 类型 壁挂式 环 保 标点纠错 模型 温 度 节 能 能 效 省 电 送 风 高 效 操 纵 清 洁 低 耗 商品图片 | 导言——京东科技商品营销文案自动生成的落地应用 京东APP 发现好货 社交APP 京粉 导购机器人 单商品写作 直播机器人 搭配购 多商品写作 | EM EM EM EM EM NL P2 1 AC L2 1 NL P2 0 AC L2 0 NL P1 9 AC L1 9 NL P1 8 AC L1 8 NL P1 7 AC L1 7 导言——可控文本生成持续火爆 14 12 10 8 6 4 2 0 # paper | 导言——如何做到可控文本生成 输入 • 增删输入文本 • 修改文本结构 模型 • 改变编码器初始化 • 改变解码器初始化 • 添加辅助任务 词表 • 禁止非法文本 • 鼓励优质文本 | 导言——商品营销文案自动生成面临的挑战 基础挑战 进阶挑战 看起来像人写的 可控、可信 Ø 重要性 • Ø 多样性 描述重要性的内容 • Ø 非冗余性 • Ø 忠实性 避免重复的文本 • Ø 可读性 • 内容不单调乏味 描述忠实于商品的信息，尤其是商品属性 Ø 内容丰富性 流畅的文本表达 • 提供丰富的信息，例如常识 解决方案 多维度控制 Ø 基于商品要素和多模态的多样性控制 Ø 基于商品知识图谱的忠实性控制 Ø 基于通用知识图谱的内容丰富性控制 Ø 基于领域知识预训练的拟人化控制 | | 02 基于商品要素的多模态商品文案生成 基于商品要素的多模态商品文案生成——多样 v.s. 单调 !"#$%&' ()*+%&' | 基于商品要素的多模态商品文案生成——多模态+商品要素 商品多模态信息 商品要素归纳商品知识图谱 Ø 感性的人关注商品外观 • Ø 重要性 商品外观关联图片信息 • Ø 理性的人关注商品功能 • 描述重要的商品要素 Ø 非冗余性 商品功能关联图片知识图谱 • 避免冗余的商品要素信息 Ø 流畅性 • 流畅的商品要素表达 !" => #$ %& '( =>? +, 56 /0 7- 12 8# -. 9. )* :; 34 8< | 基于商品要素的多模态商品文案生成——多模态 多模态商品文案生成模型 Aspect-Aware Multimodal Summarization for Chinese E-Commerce Products. Haoran Li, Peng Yuan, Song Xu, Youzheng Wu, Xiaodong He, Bowen Zhou. AAAI 2020. | 基于商品要素的多模态商品文案生成——多模态 多模态商品文案生成模型优于纯文本模型 15 时尚的两件套设计，省去搭配的烦恼，穿 出不同种类的风格，选用优质的针织面料， 手感细腻，具有良好的亲肤效果，穿着舒 适不紧绷。 结论： 加入图片 后，外观 描述增加 多模态模型输出： 一款来自欧芮儿很时尚的套装，以橙色为 主色调的条纹设计，靓丽吸睛，让你穿出 不一样的时髦造型。针织的搭配，丰富视 觉效果，凸显层次美感，木耳边的喇叭袖， 增添潮流看点。 ROUGE-2 纯文本模型输出: 10 5 0 家电 纯文本模型 服饰 箱包 多模态模型 | 基于商品要素的多模态商品文案生成——商品要素 描述重要的商品要素 100 重要要素% 80 60 40 20 0 能效 一级 产品类型 波轮 能效 产品类型 三级 子母双筒 家电 基线模型 服饰 箱包 改进模型 | 基于商品要素的多模态商品文案生成——商品要素 避免冗余的商品要素信息 "./ 输入文本： 这款洗衣机变频直驱，……，低噪音，……， 享受无杂音生活 4",$ = 6 97,$ 78/ !",$ =%&' tanh ,& -"./ + 1& ℎ$ + 3& 4",$ ' 要素覆盖 词覆盖 生成文案： 这款洗衣机的噪音非常小，无杂音 < :; = 6 6 min(9",$ , 4",$ ) "8/ $8/ 9",AB = 6 9",F CD ∈AB "./ 4",AB = 6 9",AB 78/ | 基于商品要素的多模态商品文案生成——商品要素 流畅的商品要素表达 这款洗衣机10KG大容量，……，无线操控系统方便远程操作，……，可容纳大量衣物 要素：容量 要素：操控 要素：容量 要素回跳 | | 03 基于电商知识图谱的商品文案生成 基于电商知识图谱的商品文案生成——知识图谱指针 通过知识图谱指针，更准确描述商品属性 这款洗衣机的容量是 7KG?/8KG?/9KG?， 适合一家人使用 这款洗衣机的容量是$ 容量$，适合一家人使 用 容量 9KG 产品类型 波轮 这款洗衣机的容量是 9KG，适合一家人使 用 On the Faithfulness for E-commerce Product Summarization. Peng Yuan, Haoran Li, Song Xu, Youzheng Wu, Xiaodong He and Bowen Zhou. COLING 2020. | 基于电商知识图谱的商品文案生成——知识图谱指针 利用知识图谱指针改进复制机制 Ø 原始的复制机制 !"#$% 9'( = * +:-+./01 α3,+ Ø 改进的复制机制 !"#$% 9'( = * +,5:6+ .容量,7+5 ./01 α63,+ ∗ α73,+,5 | 基于电商知识图谱的商品文案生成——解决商品知识图谱缺失问题 多模态商品知识图谱补齐 Multimodal Joint Attribute Prediction and Value Extraction for E-commerce Product. Tiangang Zhu, Yue Wang, Haoran Li, Youzheng Wu, Xiaodong He and Bowen Zhou. EMNLP 2020. |