(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210605561.9 (22)申请日 2022.05.30 (71)申请人 中电金信软件 有限公司 地址 100082 北京市海淀区西小口路6 6号 东升科技园C区4 号楼401室 (72)发明人 覃祥坤　单海军　周鑫　 (74)专利代理 机构 北京超凡宏宇专利代理事务 所(特殊普通 合伙) 11463 专利代理师 荣颖佳 (51)Int.Cl. G06F 9/445(2018.01) G06F 16/35(2019.01) G06F 40/216(2020.01) G06F 40/295(2020.01) (54)发明名称 一种基于预训练语言模型的类别标签识别 方法及装置 (57)摘要 本发明提供了一种基于预训练语言模型的 类别标签识别方法及装置， 其中， 该基于预训练 语言模型的类别标签识别方法包括： 确定待识别 数据所属的目标下游任务， 查询下游任务与插件 向量训练数据的第一映射关系库， 获取所述目标 下游任务对应的任务插件向量训练数据； 基于所 述待识别数据以及所述任务插件向量训练数据， 利用不包含分类器的预训练语言模 型， 获取所述 待识别数据在每个位置上的标签词； 查询类别标 签与类别标签词的第二映射关系库， 识别所述标 签词映射的类别标签。 可以提高类别标签识别效 率。 权利要求书2页 说明书11页 附图2页 CN 114995903 A 2022.09.02 CN 114995903 A 1.一种基于预训练语言模型的类别标签识别方法， 其特 征在于， 包括： 确定待识别数据所属的目标 下游任务； 查询下游任务与插件向量训练数据的第 一映射关系库， 获取所述目标下游任务对应的 任务插件向量训练数据； 基于所述待识别数据以及所述任务插件向量训练数据， 利用不包含分类器的预训练语 言模型， 获取 所述待识别数据在每 个位置上的标签词； 查询类别标签与类别标签词的第二映射关系库， 识别所述标签词映射的类别标签。 2.根据权利要求1所述的方法， 其特征在于， 在所述确定待识别数据所属的目标下游任 务之前， 所述方法还 包括： 基于标注有类别标签的下游任务样本数据和预先生成的插件向量数据， 利用预训练语 言模型， 获取所述下游任务样本数据的预测类别标签， 其中， 下游任务样本数据与插件向量 数据的维度相同； 依据预测类别标签和类别标签， 在预训练语言模型的参数不变的情形下， 对插件向量 数据进行训练， 得到该 下游任务的插 件向量训练数据。 3.根据权利要求2所述的方法， 其特征在于， 所述基于标注有类别标签的下游任务样本 数据和预先生成的插件向量数据， 利用预训练语言模型， 获取所述下游任务样本数据的预 测类别标签， 包括： 拼接插件向量数据和下游任务样本数据， 得到拼接数据； 将拼接数据输入预训练语言模型， 获取 所述样本数据的预测类别标签。 4.根据权利要求2所述的方法， 其特征在于， 所述基于标注有类别标签的下游任务样本 数据和预先生成的插件向量数据， 利用预训练语言模型， 获取所述下游任务样本数据的预 测类别标签， 包括： 将插件向量数据分别输入预训练语言模型中的每一隐藏层； 将下游任务样本数据输入预训练语言模型， 获取 所述样本数据的预测类别标签。 5.根据权利要求4所述的方法， 其特征在于， 所述将插件向量数据分别 输入预训练语言 模型中的每一隐藏层， 包括： 将插件向量数据拆分为键插 件向量数据和值插 件向量数据； 将键插件向量数据与上一隐藏层输出的键向量数据进行拼接， 得到 键拼接数据； 将值插件向量数据与上一隐藏层输出的值向量数据进行拼接， 得到值 拼接数据； 拼接键拼接数据、 值 拼接数据以及上一隐藏层输出的查询向量数据， 输入当前隐藏层。 6.根据权利要求1至5任一项所述的方法， 其特征在于， 在所述确定待识别数据所属的 目标下游任务之前， 所述方法还 包括： 针对预先获取的数据集中的每一类别标签数据子集， 将该类别标签的数据子集中的数 据， 分别输入预训练语言模型， 得到表征数据的关键词， 其中， 数据集中包含有各类别标签 的数据； 针对每一类别标签， 统计该类别标签的各数据对应的关键词的频率， 依据频率最高的 关键词生成该类别标签对应的类别标签词。 7.根据权利要求6所述的方法， 其特征在于， 所述依据频率最高的关键词生成该类别标 签对应的类别标签词， 包括：权　利　要　求　书 1/2 页 2 CN 114995903 A 2查询类别标签与类别标签词的第二映射关系库； 若未查询到该频率最高的关键词， 构建该频率最高的关键词与类别标签的映射关系， 存储至第二映射关系库中； 若查询到该频率最高的关键词， 且该频率最高的关键词映射的类别标签与 所述该类别 标签不相同， 选取频率次高的关键词， 执行所述查询 类别标签与类别标签词的第二映射关 系库的步骤， 以使每一类别标签对应一类别标签词。 8.一种基于预训练语言模型的类别标签识别装置， 其特 征在于， 包括： 插件向量训练数据获取模块， 用于确定待识别数据所属的目标下游任务， 查询下游任 务与插件向量训练数据的第一映射关系库， 获取所述目标下游任务对应的任务插件向量训 练数据； 标签词获取模块， 用于基于所述待识别数据以及所述任务插件向量训练数据， 利用不 包含分类器的预训练语言模型， 获取 所述待识别数据在每 个位置上的标签词； 类别标签识别模块， 用于查询类别标签与类别标签词的第二映射关系库， 识别所述标 签词映射的类别标签。 9.一种计算机设备， 其特征在于， 包括： 处理器、 存储器和总线， 所述存储器存储有所述 处理器可执行 的机器可读指令， 当计算机设备运行时， 所述处理器与所述存储器之间通过 总线通信， 所述机器可读指 令被所述处理器执行时执行如权利要求 1至7任一所述的基于预 训练语言模型的类别标签识别方法的步骤。 10.一种计算机可读存储介质， 其特征在于， 该计算机可读存储介质上存储有计算机程 序， 该计算机程序被处理器运行时执行如权利要求1至7任一所述的基于预训练语 言模型的 类别标签识别方法的步骤。权　利　要　求　书 2/2 页 3 CN 114995903 A 3