(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211268272.0 (22)申请日 2022.10.17 (71)申请人 网易(杭州)网络有限公司 地址 310052 浙江省杭州市滨江区网商路 599号网易大厦 (72)发明人 孙振华　孙晋权　张聪　 (74)专利代理 机构 北京超凡宏宇专利代理事务 所(特殊普通 合伙) 11463 专利代理师 王思楠 (51)Int.Cl. G06F 16/332(2019.01) G06F 16/33(2019.01) G06F 16/335(2019.01) G06F 16/35(2019.01) G06F 40/126(2020.01)G06F 40/194(2020.01) G06F 40/30(2020.01) G06K 9/62(2022.01) (54)发明名称 意图模型训练方法、 装置、 电子设备及存储 介质 (57)摘要 本申请提供意图模型训练方法、 装置、 电子 设备及存储介质， 涉及语义理解技术领域。 利用 对话数据构建初始用户问题集合， 基于初始意图 模型对初始用户问题集合进行过滤， 若初始意图 模型未识别某个用户话语文本， 则将该用户话语 文本作为未有意图数据， 并对表 述相似的用户话 语文本进行聚类， 得到多个聚类簇， 以便标注人 员对同一聚类簇中表述相似的用户话语文本进 行意图标注， 得到各聚类簇的意图数据， 解决了 现有技术需要对 所有用户表述进行编码后聚类， 导致聚类效果不佳的问题， 提高意图模型的训练 效率； 使用未有的意图数据对初始意图模型重新 进行训练， 得到待使用的目标意图模型， 使用待 使用的目标意图模型过滤出未有意图数据， 提高 意图数据 挖掘效率。 权利要求书3页 说明书17页 附图9页 CN 115470337 A 2022.12.13 CN 115470337 A 1.一种意图模型训练方法， 其特 征在于， 所述方法包括： 根据获取到的对话数据构建初始用户问题集合， 并基于初始意图模型对所述初始用户 问题集合中的用户话语文本进行意图识别， 根据识别结果确定待识别用户问题集 合； 对所述待识别用户问题集 合进行聚类， 得到多个聚类簇； 根据针对所述聚类簇的标注信息， 得到各聚类簇的意图数据， 所述意图数据包括各聚 类簇中的用户话语文本以及意图名称； 根据所述各聚类簇的意图数据， 对所述初始意图模型进行训练， 得到待使用的目标意 图模型。 2.根据权利要求1所述的意图模型训练方法， 其特征在于， 对所述待识别用户问题集合 进行聚类， 得到多个聚类簇， 包括： 对所述待识别用户问题集合中各用户话语文本进行编码， 得到文本表示集合， 所述文 本表示集合中包括多个文本表示， 各文本表示分别为对应的用户话语文本的编码表示； 对所述文本表示 集合进行聚类， 得到多个聚类簇 。 3.根据权利要求2所述的意图模型训练方法， 其特征在于， 所述对所述待识别用户问题 集合中各用户话语文本进行编码， 得到文本表示 集合， 包括： 将所述待识别用户问题集合中的用户话语文本输入至预先训练得到的目标文本表示 模型， 得到所述目标文本表示模型输出的文本表示； 将各文本表示组合 为所述文本表示 集合。 4.根据权利要求3所述的意图模型训练方法， 其特征在于， 所述将所述待识别用户问题 集合中的用户话语文本 输入至预 先训练得到的目标文本表示模型之前， 还 包括： 获取训练数据集， 所述训练数据集中包括： 多个正样本文本与各所述正样本文本的文 本表示、 多个负 样本文本与所述负 样本文本的文本表示； 基于所述训练数据集、 及预先构建的对比学习损 失函数， 对初始文本表示模型进行迭 代训练， 得到目标文本表示模型。 5.根据权利要求2所述的意图模型训练方法， 其特征在于， 所述对所述文本表示集合进 行聚类， 得到多个聚类簇， 包括： 使用k均值聚类算法， 对所述文本表示集合中各文本表示进行粗粒度聚类处理， 得到至 少一个粗粒度聚类簇； 使用密度聚类算法， 对各粗粒度聚类簇分别进行细粒度聚类处理， 根据处理结果， 得到 所述多个聚类簇 。 6.根据权利要求5所述的意图模型训练方法， 其特征在于， 所述使用 密度聚类算法， 对 各粗粒度聚类簇分别进行细粒度聚类处 理， 根据处 理结果， 得到所述多个聚类簇， 包括： 使用密度聚类算法， 对各粗粒度聚类簇分别进行细粒度聚类处理， 得到多个细粒度聚 类簇； 对所述多个细粒度聚类簇进行两 两配对， 得到多个聚类簇对； 采用平均链接距离， 各聚类簇对中两个细粒度聚类簇的相似度； 根据各聚类簇对中两个细粒度聚类簇的相似度， 对各细粒度聚类簇进行融合处理， 得 到融合后的聚类簇 。 7.根据权利要求1 ‑6任一项所述的意图模型训练方法， 其特征在于， 所述根据所述各聚权　利　要　求　书 1/3 页 2 CN 115470337 A 2类簇的意图数据， 对所述初始意图模型进行训练之前， 所述方法还 包括： 确定各聚类簇中的用户话语文本的数量是否大于或等于预设数量阈值， 若否， 则对所 述聚类簇进行扩充处 理， 得到新的聚类簇 。 8.根据权利要求7所述的意图模型训练方法， 其特征在于， 所述对所述 聚类簇进行扩充 处理， 得到新的聚类簇， 包括： 使用同义句生成模型对所述聚类簇进行相似问扩充， 得到扩充后的聚类簇； 对所述扩充后的聚类簇中的异常文本进行 过滤， 得到过 滤后的聚类簇； 使用所述同义句生成模型对所述过滤后的聚类簇重新进行扩充， 得到所述新的聚类 簇。 9.根据权利要求1 ‑6任一项所述的意图模型训练方法， 其特征在于， 所述基于初始意图 模型对所述初始用户问题集合中的用户话语文本进行意图识别， 根据识别结果确定待识别 用户问题集 合， 包括： 将所述初始用户问题集合中的各用户话语文本输入至所述初始意图模型， 得到所述初 始意图模型输出的各用户话语文本的识别结果； 针对各用户话语文本的识别结果分别执 行如下步骤： 若所述识别结果指示所述初始意图模型可识别出所述用户话语文本的意图名称， 则 丢 弃所述用户话语文本， 否则， 将所述用户话语文本添加至所述待识别用户问题集 合中。 10.根据权利要求1 ‑6任一项所述的意图模型训练方法， 其特征在于， 所述根据获取到 的对话数据构建初始用户问题集 合， 包括： 对所述对话数据中各用户话语文本进行识别， 确定所述用户话语文本是否为表述问 题； 若是， 则将表述问题的用户话语文本添加至所述初始用户问题集 合。 11.根据权利要求1所述的意图模型训练方法， 其特征在于， 所述根据所述各聚类簇的 意图数据， 对所述初始意图模型进行训练， 得到待 使用的目标意图模型， 包括： 根据所述各聚类簇的意图数据， 对所述初始意图模型进行训练， 得到新的初始意图模 型； 确定所述 新的初始意图模型的意图识别结果是否满足预设条件； 若是， 则将所述 新的初始意图模型作为待 使用的目标意图模型。 12.一种意图模型训练装置， 其特 征在于， 所述装置包括： 构建模块， 用于根据获取到的对话数据构建初始用户问题集 合； 识别模块， 用于基于初始意图模型对所述初始用户问题集合中的用户话语文本进行意 图识别， 根据识别结果确定待识别用户问题集 合； 聚类模块， 用于对所述待识别用户问题集 合进行聚类， 得到多个聚类簇； 标注模块， 用于根据针对所述聚类簇的标注信 息， 得到各聚类簇的意图数据， 所述意图 数据包括各聚类簇中的用户话语文本以及意图名称； 训练模块， 用于根据 所述各聚类簇的意图数据， 对所述初始意图模型进行训练， 得到待 使用的目标意图模型。 13.一种电子设备， 其特征在于， 包括： 处理器、 存储介质和总线， 所述存储介质存储有 所述处理器可执行 的机器可读指令， 当电子设备运行时， 所述处理器与所述存储介质之间权　利　要　求　书 2/3 页 3 CN 115470337 A 3