(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211394964.X (22)申请日 2022.11.09 (71)申请人 北京红棉小 冰科技有限公司 地址 100080 北京市海淀区北四环西路67 号6层608房间 (72)发明人 连怡鑫　刘剑锋　杜晓薇　王宝元　 (74)专利代理 机构 北京路浩知识产权代理有限 公司 11002 专利代理师 王治东 (51)Int.Cl. G06F 16/332(2019.01) G06F 16/33(2019.01) G06F 16/35(2019.01) G06F 40/30(2020.01) G06N 20/10(2019.01)G06K 9/62(2022.01) (54)发明名称 一种对话模 型生成、 应用方法、 系统、 设备及 存储介质 (57)摘要 本发明公开了一种对话模型生成、 应用方 法、 系统、 设备及存储介质， 涉及计算机技术领 域。 一种对话模 型生成方法通过 获取预设的对话 样本； 对对话样本进行预处理， 得到三元组数据； 将三元组数据输入预设的自然语言模型进行语 义理解， 输出与三元组数据对应的语义意图； 将 三元组数据和语义意图输入初始神经网络进行 训练， 得到对话模型。 再通过一种对话模型应用 方法应用对话模 型生成方法生 成的对话模型， 实 现通过多源多模态的数据训练出对话效果较好 的对话模型， 并基于应用对话模型， 大大地提高 了对话模型的对话迁移场景能力， 增强对话回复 的信息丰富度和准确率。 权利要求书2页 说明书11页 附图6页 CN 115438170 A 2022.12.06 CN 115438170 A 1.一种对话模型生成方法， 其特 征在于， 包括： 获取预设的对话样本； 对所述对话样本进行 预处理， 得到三元组数据； 将所述三元组数据输入预设的自然语言模型进行语义理解， 输出与 所述三元组数据对 应的语义 意图； 将所述三元组数据和所述语义意图输入初始神经网络进行训练， 得到对话模型， 其中 对话模型至少包括视 觉编码器、 文本编码器和解码器。 2.根据权利要求1所述的对话模型生成方法， 其特 征在于， 所述获取 预设的对话样本， 包括： 利用预设的样本提取 策略， 从多个提取路径中确定目标提取路径； 根据所述样本提取 策略和所述目标提取路径， 获取 所述对话样本 。 3.根据权利要求1所述的对话模型生成方法， 其特 征在于， 所述对所述对话样本进行 预处理， 得到三元组数据， 包括： 对所述对话样本进行清洗处 理， 得到标准对话样本； 根据预设的三元组格式， 对所述标准对话样本格式化处 理， 生成所述 三元组数据。 4.根据权利要求3所述的对话模型生成方法， 其特 征在于， 所述根据预设的三元组格 式， 对所述标准对话样本格 式化处理， 生成所述三元组数据， 包括： 根据所述 三元组格式对所述标准对话样本格式化处 理， 得到初始三元组数据； 根据预设检测策略检测所述初始三元组数据， 标识出异常初始三元组数据； 根据所述异常初始三元组数据从所述初始三元组数据中筛 选出所述三元组数据。 5.一种对话模型应用方法， 其特征在于， 应用于如权利要求1至4任一项所述的对话模 型生成方法， 其中所述对话模型至少包括视 觉编码器、 文本编码器和解码器； 所述对话模型应用方法， 包括： 采集用户在不同场景下的用户数据， 其中所述用户数据至少包括图像数据和文本数 据； 将所述图像数据输入所述视觉编码器进行图像编码得到图像编码数据， 并将所述文本 数据输入所述文本编码器进行文本编码得到文本编码数据； 将所述图像编码数据和所述文本编码数据输入感知采样器进行处理， 得到对应的图像 隐变量和文本隐变量； 将所述图像隐变量和所述文本隐变量输入所述解码器中进行处理， 输出当前回复语 句。 6.根据权利要求5所述的对话模型应用方法， 其特 征在于， 所述将所述图像隐变量和所述文本隐变量输入解码器中进行处理， 输出与 所述用户数 据对应的当前回复语句， 包括： 在所述解码器检测到所述图像隐变量和/或所述文本隐变量的情况下， 生成对话生成 任务； 将所述对话 生成任务输入所述对话模型， 输出 所述当前回复语句。 7.一种对话模型生成系统， 其特 征在于， 所述系统包括：权　利　要　求　书 1/2 页 2 CN 115438170 A 2获取对话样本模块， 用于获取 预设的对话样本； 预处理模块， 用于对所述对话样本进行 预处理， 得到三元组数据； 语义理解模块， 用于将所述三元组数据输入预设的自然语言模型进行语义理解， 输出 与所述三元组数据对应的语义 意图； 对话模型生成模块， 用于将所述三元组数据和所述语义意图输入初始神经网络进行训 练， 得到对话模型， 其中对话模型至少包括视 觉编码器、 文本编码器和解码器。 8.一种对话模型应用系统， 其特 征在于， 所述系统包括： 采集用户数据模块， 用于采集用户在不同场景下的用户数据， 其中所述用户数据至少 包括图像数据和文本数据； 编码模块， 用于将所述图像数据输入视觉编码器进行图像编码得到 图像编码数据， 并 将所述文本数据输入文本编码器进行文本编码得到文本编码数据； 生成隐变量模块， 用于将所述图像编码数据和所述文本编码数据输入感知采样器进行 处理， 得到对应的图像隐变量和文本隐变量； 输出回复语句模块， 用于将所述图像隐变量和所述文本隐变量输入解码器中进行处 理， 输出与所述用户数据对应的当前回复语句。 9.一种电子设备， 包括存储器、 处理器及存储在所述存储器上并可在所述处理器上运 行的计算机程序， 其特征在于， 所述处理器执行所述程序时实现如权利要求1至4任一项所 述对话模型生成方法的步骤， 或实现如权利要求5或6所述对话模型应用方法的步骤。 10.一种非暂态计算机可读存储介质， 其上存储有计算机程序， 其特征在于， 所述计算 机程序被处理器执行时实现如权利要求1至4任一项 所述对话模型生 成方法的步骤， 或实现 如权利要求5或6所述对话模型应用方法的步骤。权　利　要　求　书 2/2 页 3 CN 115438170 A 3