| 有灵歌词辅助创作 网易伏羲 张荣升 目录 CONTENT 01 背景 02 有灵歌词辅助创作框架 03 歌词创作的常见问题探讨 04 未来展望 | | 01 背景 背景 ➢ 预训练模型的发展使文本生成显能力著提升 ➢ 基于AI创作的工业化应用逐渐普及（写作助手、 剧情生成、新闻撰稿等） 交互式文字游戏 同人文创作 | 背景 ➢ 歌词、诗词智能创作的应用 小森唱app • 网易云音乐平台作词人数量众多 • 歌词创作门槛高 • 作词人工具类辅助需求强烈 • 传统AI生成文本，以AI为主，需 要人“接受”AI生成的内容。 九歌诗歌写作系统 http://jiuge.thunlp.org/ | | 02 有灵歌词辅助 创作框架 有灵歌词辅助创作框架 目标： 1. 降低作词门槛，让更多音乐 热爱者参与进音乐创作事业。 2. 提供便捷的作词辅助工具， 提高作词效率及启发创作灵 感。 用户层 中间层 实现功能： • 向音乐小白提供多维度定制 的整体生成、修改一条龙服 务。 • 向成熟的音乐人根据歌词创 作时常遇到的实际困难，提 供押韵助手、灵感检索、修 改等功能。 技术层 基础层 整体生成 实时推荐 叙事生成 段落修改 句子修改 词语修改 押韵助手 灵感检索 意象词图 查重计算 反垃圾 质量打分 文本生成 图谱构建 预训练模型 语义检索 序列标注 韵脚分析 情绪分析 关键词抽取 推断加速 并行训练 数据检索 语料库建设 歌词辅助系统框架 | 整体生成 输入构造 基于内容和格式控制 风格 关键词 段落属性 韵脚 ➢ 内容控制 情绪 意象扩展 行数 词格 ✓ 风格 ✓ 关键词 ✓ 情绪 ➢ 格式控制 ✓ ✓ ✓ ✓ 风格 [SEP] 情绪 [SEP] 扩展后关键词 生成模型 Pretrained GPT-2 encoder 段落属性 韵脚 行数 词格 Pretrained GPT-2 decoder 重排序 查重 关键词命中率 风格匹配度 多样性打分 意象扩展 给定关键词，利用词图网络，扩展出相关的意象词推荐给用户 ➢ 歌词词语图谱构建 1. 节点构建（词语） • 词频 • 词性 • 是否为意象词 2. 边的权重计算 • 计算条件概率 • 共现次数筛选 | 实时生成 用户自己创作歌词时，根据已写的歌词上文，续写下文推荐给用户启发灵感。 走 在 … 念 会 永 远 就 算 分 手 … 算 分 … Pretrained GPT-2 decoder 我 走 在 … 念 会 永 远 就 | 叙事生成 输入叙事短文，输出歌词。 ➢ 训练数据构造 • 基于back translation将歌词文本转为普通 风格文本 • 按段落抽样句子，构造伪平行语料 ➢ 模型训练 • 基于预训练的encoder-decoder模型 你曾说待我长 发及腰，娶我 入门。可如今 我青丝垂地， 却为何，只见 新人笑，不见 旧人哭？你可 知奈何桥上， 我独自等了你 百年。 输入短文 输出歌词 伪平行语料构造示例： 天青色等烟雨 而我在等你 炊烟袅袅升起 隔江千万里 The sky is green and waiting for the rain And I'm waiting for you Smoke rises up Across the river for millions of miles 天空是绿色的，等待着雨的到来 我在等待着你 烟雾升起 穿过河道，长达数百万英里 | 段落、句子、词语修改 对用户不满意的段落、句子、词语支持重新生成。 输入构造 masked 的歌词 风格 韵脚 词格 风格 [SEP] Masked 歌词 E.g.1 “流行 [SEP] 天青色等烟雨[SEP] [mask] [SEP] 炊 烟袅袅升起[SEP] 隔江千万里…” E.g.2 “流行 [SEP] 天青色等[mask] [SEP] 而我在等你 [SEP] 炊烟袅袅升起[SEP] 隔江千万里…” 修改模型 Pretrained encoder 句子修改 Pretrained decoder Masked 段落、句子、单词 E.g.1 而我在等你 E.g.2 烟雨 基于T5的实现方式 词语修改 押韵助手 ✓ 十三辙（言前辙、一七辙等） ✓ 支持单押、双押、三押 ✓ 支持声调筛选 ✓ 支持尾字不押闭口韵 | 灵感检索 ✓ 支持多种类型语料 • 歌词 • 现代文学 • 古代文学 • 影视 • 成语 • …… ✓ 支持查看细节 • 来源 • 作者 • 全文 ✓ 支持语义检索 • 基于PLM的语义表示 • 向量检索 | | 03 歌词创作的常 见问题探讨 预训练模型的影响 训练语料：300 GB，包 含大量的网络小说、知 识百科、新闻、网页、 歌词等语料。 模型框架：基于transformer的GPT模型 预训练模型对比 Model Dimension 3072 ➢ 2亿 （现有线上模型） ➢ 50亿 ➢ 110亿 Model Dimension 5120 流畅性 （语句通 顺） 逻辑性 关键词相 （上下文 关性 合乎逻辑） 感染力 （歌词具 有画面感， 能引起情 感共鸣） 文学性 （修辞运 用、创新 性表达） 总体打分 2亿 3.65 3.28 3.34 2.83 2.86 3.23 50亿 3.56 3.4 3.15 2.71 2.69 3.2 110亿 3.72 3.47 3.06 2.73 2.82 3.25 人类（高 质量歌词） 3.16 3.31 3.69 2.59 2.47 2.84 人类（质 量较差歌 词） 3.86 3.44 3.81 2.92 3.11 3.58 模型 Model Layers 45 Model Layers 36 1. 2. 3. 50亿参数 valid ppl 6.90 110亿参数 valid ppl 6.55 逻辑性的提升 关键词相关性降低（关键词 相关性和前后文相关性的权 衡？） 感染力、文学性、总体打分 区分不明显。（预训练语料 的影响？） | 内容和格式控制对生成质量的影响 如何合理的控制模型生成以获得更好的效果？ 1. 关键词引导 • 合适的关键词能够引导模型生成更好的结果 2. 多维度内容控制 • 风格和关键词的影响 3. 格式控制对生成文本质量的影响 • 控制选项（韵脚、词格、藏头）与 生成质量的折中 词格 关键词：夏天 韵脚：发花辙 风格：古风 关键词：飞机 关键词：蝉鸣 | | 04 未来展望 未来的研究方向 1. 词曲协同：先曲后词的情况下，如何生成更好的词？ • • • 词格的对应 旋律与声调的匹配机制？ 曲的风格与词的风格一致性 2. 辅助模式需贴近作词人习惯 • • • 3. 基于关键词的生成模式难以抓住作词人的想法？ 融入作词专家知识设计辅助模式，而非end2end的生成？ 构思交给作词人，AI聚焦更多工具痛点？ 歌词生成质量的提升 • 口水歌过多，优质歌词缺乏 • 融合其他来源（诗词等）的文本？ | 非常感谢您的观看 |