(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211146072.8 (22)申请日 2022.09.20 (71)申请人 云知声智能科技股份有限公司 地址 100096 北京市海淀区西三 旗建材城 内1幢一层101号 (72)发明人 付蒙恩　史亚飞　谢冠超　 (51)Int.Cl. G06N 20/00(2019.01) G06K 9/62(2022.01) G06F 40/295(2020.01) G06F 40/247(2020.01) G06F 16/36(2019.01) (54)发明名称 一种识别模型的训练方法、 装置、 电子设备 及存储介质 (57)摘要 本申请公开了一种识别模型的训练方法、 装 置、 电子设备及存储介质。 方法包括： 获取对目标 医院初始待标注数据集中的医嘱数据进行命名 实体识别得到的识别结果， 并利用识别结果满足 预设条件的目标医嘱数据生成目标待标注数据 集； 并获取目标待标注数据集中每个目标医嘱数 据对应的目标标注数据， 并基于目标医嘱数据以 及目标标注数据生成目标医院对应的测试数据 集； 基于测试数据集以及待训练的识别模型进行 迭代训练， 直至训练后的识别模型满足预设条 件。 本申请通过获取医嘱数据的标注信息， 并通 过错误数据分析， 使用模型回标的方式， 对的错 误数据进行纠正， 最终利用修正的数据训练模 型， 以此提高模型的泛化能力。 权利要求书3页 说明书9页 附图2页 CN 115456199 A 2022.12.09 CN 115456199 A 1.一种识别模型的训练方法， 其特 征在于， 包括： 获取目标医院对应的初始待标注数据集， 其中， 所述目标医院为待进行知识迁移 的医 院， 所述初始待标注数据集包括至少一个医嘱数据； 获取对所述初始待标注数据集中的医嘱数据进行命名实体识别得到的识别结果， 并利 用所述识别结果满足预设条件的目标医嘱数据生成目标待标注数据集； 检测作用于所述目标待标注数据集对应的标注操作， 得到所述目标待标注数据集中每 个目标医嘱数据对应的目标标注数据， 并基于所述目标医嘱数据以及所述目标标注数据生 成所述目标医院对应的测试 数据集； 利用待训练的识别模型对所述测试数据集进行预测， 得到预测结果， 并在所述预测结 果不满足预设条件的情况下， 基于所述测试数据集以及所述待训练的识别模型进 行迭代训 练， 直至训练后的识别模型满足所述预设条件。 2.根据权利要求1所述的方法， 其特征在于， 所述获取对所述初始待标注数据集中的医 嘱数据进 行命名实体识别得到的识别结果， 并利用所述识别结果满足预设条件的目标医嘱 数据生成目标待标注数据集， 包括： 获取原始医院对应的两个原始识别模型， 其中， 所述原始识别模型是利用原始医院的 原始医嘱数据训练得到的； 利用所述原始识别模型对所述初始待标注数据集中的医嘱数据进行命名实体识别， 得 到识别结果； 将所述识别结果满足预设条件的医嘱数据确定为所述目标医嘱数据， 并基于所述目标 医嘱生成待标注数据。 3.根据权利要求2所述的方法， 其特征在于， 所述原始识别模型包括： 第一原始识别模 型以及第二原 始识别模型； 所述利用所述原始识别模型对所述初始待标注数据集中的医嘱数据进行命名实体识 别， 得到识别结果， 包括： 利用所述第 一原始识别模型对所述初始待标注数据集中的医嘱数据， 得到每个医嘱数 据对应的第一实体命名， 以及所述第一实体命名对应的置信度； 利用所述第 二原始识别模型对所述初始待标注数据集中的医嘱数据， 得到每个医嘱数 据对应的第二实体命名。 4.根据权利要求3所述的方法， 其特征在于， 所述将所述识别结果满足预设条件的医嘱 数据确定为所述目标医嘱数据， 并基于所述目标医嘱生成待标注数据， 包括： 将所述置信度小于预设置信度的医嘱数据确定为第 一目标医嘱数据， 以及将所述第 二 实体命名与所述第一实体命名不 一致的医嘱数据确定为所述第二目标医嘱数据； 基于所述第一目标医嘱数据以及所述第二目标医嘱数据生成所述待标注数据。 5.根据权利要求2所述的方法， 其特征在于， 所述检测作用于所述目标待标注数据集对 应的标注操作， 得到所述 目标待标注数据集中每个目标医嘱数据对应的目标标注数据， 包 括： 检测作用于目标待标注数据集中每个目标医嘱数据对应的标注操作， 并基于标注操作 确定初始标注数据； 利用用于识别命名实体边界的检测工具检测所述初始标注数据与所述原始医院的原权　利　要　求　书 1/3 页 2 CN 115456199 A 2始标注数据中边界不 一致的第一标注数据； 利用医嘱分类模型对所述目标医嘱数据进行预测， 得到预测结果， 并将与所述预测结 果不一致的初始标注信息作为第二标注数据； 基于所述第一标注数据以及所述第二标注数据得到所述初始标注数据中的错误标注 数据， 并获取 所述错误标注数据对应的正确标注数据； 利用所述 正确标注数据对所述 错误标注数据进行替换， 得到所述目标 标注数据。 6.根据权利要求1所述的方法， 其特征在于， 所述在所述预测结果不满足预设条件的情 况下， 基于所述测试数据集以及所述待训练的识别模型进行迭代训练， 直至训练后的识别 模型满足所述预设条件， 包括： 基于所述预测结果获取模型 预测错误数据集以及可疑错 误标注数据； 获取对所述预测错误数据集以及所述可疑错误标注数据 执行修正操作， 得到的修正数 据； 利用所述修正数据更新所述测试数据集， 得到更新后的测试数据集， 利用更新后的测 试数据集对待训练的识别模型进行的迭代训练， 直至识别模型满足所述预设条件。 7.根据权利要求6所述的方法， 其特征在于， 所述获取对所述预测错误数据集以及所述 可疑错误标注数据执 行修正操作， 得到的修 正数据， 包括： 检测作用于可疑错误标注数据的标注操作， 基于所述标注操作得到修正后的可疑错误 标注数据； 基于医疗知识图谱得到所述预测错误数据集中错误实体的同义词以及下位实体， 利用 每个错误 实体的同义词以及下位 实体对所述预测错误数据集进行扩充， 得到目标预测错误 数据集， 并对所述目标错 误数据集 合进行修 正， 得到修 正数据集 合； 采用最长公共子序列算法从所述目标医院对应的无标注医嘱数据中选择与所述所述 预测错误数据集中错 误医嘱数据相似度大于预设阈值的多个候选医嘱数据； 在所述候选 医嘱数据满足预设需求的情况下， 将所述候选 医嘱数据作为伪标签数据加 入所述修正数据集 合。 8.一种识别模型的训练装置， 其特 征在于， 包括： 第一获取模块， 用于获取目标医院对应的初始待标注数据集， 其中， 所述目标医院为待 进行知识迁移的医院， 所述初始待标注数据集包括至少一个医嘱数据； 第二获取模块， 用于获取对所述初始待标注数据集中的医嘱数据进行命名实体识别得 到的识别结果， 并利用所述识别结果满足预设条件的目标医嘱数据生成目标待标注数据 集； 生成模块， 用于检测作用于所述目标待标注数据集对应的标注操作， 得到所述目标待 标注数据集中每个目标医嘱数据对应的目标标注数据， 并基于所述目标医嘱数据以及所述 目标标注数据生成所述目标医院对应的测试 数据集； 训练模块， 用于利用待训练的识别模型对所述测试数据集进行预测， 得到预测结果， 并 在所述预测结果不满足预设条件的情况下， 基于所述测试数据集以及所述待训练的识别模 型进行迭代训练， 直至训练后的识别模型满足所述预设条件。 9.一种存储介质， 其特征在于， 所述存储介质包括存储的程序， 其中， 所述程序运行时 执行上述权利要求1至7中任一项所述的方法步骤。权　利　要　求　书 2/3 页 3 CN 115456199 A 3