(19)国家知识产权局 (12)发明 专利 (10)授权公告 号 (45)授权公告日 (21)申请 号 202210063622.3 (22)申请日 2022.01.20 (65)同一申请的已公布的文献号 申请公布号 CN 114091472 A (43)申请公布日 2022.02.25 (73)专利权人 北京零点远景网络科技有限公司 地址 100020 北京市朝阳区酒仙桥中路24 号院1号楼8层801 专利权人 北京零点有数数据科技股份有限 公司 (72)发明人 吉文标　包利安　汤灏　 (51)Int.Cl. G06F 40/30(2020.01) G06F 16/35(2019.01) G06K 9/62(2022.01)(56)对比文件 CN 110851596 A,2020.02.28 CN 1097262 91 A,2019.0 5.07 审查员 郑诗嘉 (54)发明名称 多标签分类模型的训练方法 (57)摘要 本公开的实施例提供了多标签分类模型的 训练方法、 装置、 设备和计算机可读存储介质。 所 述方法包括获取政务数据样本集； 对 所述政务数 据样本集进行预处理， 将样本集中的文本信息转 化为语义向量； 将所述语义向量作为输入， 将所 有事件标签的概率值作为输出， 通过BERT模型构 建多标签场景损失函数， 采用transformer模型 作为向量特征提取表示， 训练多标签分类模型。 以此方式， 实现了对 政务数据的快速精准分类 。 权利要求书2页 说明书8页 附图3页 CN 114091472 B 2022.06.10 CN 114091472 B 1.一种多标签分类模型的训练方法， 其特 征在于， 包括： 获取政务数据样本集； 对所述政务数据样本集进行 预处理， 将样本集中的文本信息转 化为语义向量； 将所述语义向量作为输入， 将所有事件标签的概率值作为输出， 通过已进行参数蒸馏 的BERT模型构建多 标签场景损失函数， 采用transformer模 型作为向量特征提取表 示， 训练 多标签分类模型； 其中， 对BERT模型进行参数蒸馏处 理包括： 将所述BERT模型切分为X个模块， 将第一模块中的多层参数层替换为正太分布初始化 的一层transformer参数， 得到第一模块 替换层； 将第一模块替换层和其余模块， 进行多标签任务微调训练， 训练完成后保留第一模块 的替换层参数； 重复上述步骤， 对所述X个模块均完成多标签任务微调训练后， 将所有模块的替换层参 数进行整合， 构建一个多层 BERT预训练参数， 完成对所述BERT模型的参数蒸馏； 所述多标签分类模型， 采用如下损失函数作为优化目标： 其中， N为负样本集合； P为正样本集 合； Si为类别为 i在正样本中占比得分； Sj为类别为j在负 样本中占比得分。 2.根据权利要求1所述的方法， 其特征在于， 所述对所述政务数据样本集进行预处理， 将样本集中的文本信息转 化为语义向量包括： 对所述政务数据样本集进行分词处 理， 在每条文本数据的开头连接 CLS标记； 对分词后的文本数据进行 embedding向量化表示， 得到 CLS语义编码向量。 3.根据权利要求2所述的方法， 其特 征在于， 还 包括： 将最后一层的cls标记字符向量表示， 作为下一层的输入向量： 其中， 所述 n为单个单词向量长度。 4.根据权利要求3所述的方法， 其特 征在于， 还 包括： 设置全连接层， 将CLS语义编码向量作为所述全连接层的输入， 输出维度长度为事件的 类别种类 个数。 5.一种基于多标签分类模型的政务数据分类方法， 其特 征在于， 包括： 获取政务数据； 将所述政务数据输入至如权利要求1 ‑4任一项训练的多标签分类模型中， 完成对所述 政务数据的分类。 6.一种多标签分类模型的训练装置， 其特 征在于， 包括： 获取模块， 用于获取政务数据样本集； 处理模块， 用于对所述政务数据样本集进行预处理， 将样本集中的文本信息转化为语权　利　要　求　书 1/2 页 2 CN 114091472 B 2义向量； 训练模块， 用于将所述语义向量作为输入， 将所有事件标签的概率值作为输出， 通过已 进行参数蒸馏的BERT模型构建多标签场景损失函数， 采用tr ansformer模型作为向量特征 提取表示， 训练多标签分类模型； 其中， 对BERT模型进行参数蒸馏处 理包括： 将所述BERT模型切分为X个模块， 将第一模块中的多层参数层替换为正太分布初始化 的一层transformer参数， 得到第一模块 替换层； 将第一模块替换层和其余模块， 进行多标签任务微调训练， 训练完成后保留第一模块 的替换层参数； 重复上述步骤， 对所述X个模块均完成多标签任务微调训练后， 将所有模块的替换层参 数进行整合， 构建一个多层 BERT预训练参数， 完成对所述BERT模型的参数蒸馏； 所述多标签分类模型， 采用如下损失函数作为优化目标： 其中， N为负样本集合； P为正样本集 合； Si为类别为 i在正样本中占比得分； Sj为类别为j在负 样本中占比得分。 7.一种电子设备， 包括存储器和处理器， 所述存储器上存储有计算机程序， 其特征在 于， 所述处 理器执行所述程序时实现如权利要求1～4中任一项所述的方法。 8.一种计算机可读存储介质， 其上存储有计算机程序， 其特征在于， 所述程序被处理器 执行时实现如权利要求1～4中任一项所述的方法。权　利　要　求　书 2/2 页 3 CN 114091472 B 3