(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210074347.5 (22)申请日 2022.01.21 (71)申请人 北京沃东天骏信息技 术有限公司 地址 100176 北京市大兴区北京经济技 术 开发区科创十一街18号院2号楼4层 A402室 (72)发明人 任显聪　刘庚　赫阳　郭昆　 (74)专利代理 机构 北京唯智勤实知识产权代理 事务所(普通 合伙) 11557 专利代理师 陈佳 (51)Int.Cl. G06F 40/258(2020.01) G06F 40/295(2020.01) G06F 40/30(2020.01) G06K 9/62(2022.01)G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 标题实体识别模 型训练方法、 标题实体识别 方法和装置 (57)摘要 本公开的实施例公开了标题实体识别模型 训练方法、 标题实体识别方法和装置。 该方法的 一具体实施方式包括： 基于物品信息样本组， 对 初始掩码文本识别模型进行训练， 得到训练后的 掩码文本识别模型， 其中， 初始掩码文本识别模 型包括预先训练的初始文本编码模 型， 训练后的 掩码文本识别模 型包括训练后的文本编码模型； 将训练后的文本编码模型与预设的解码网络确 定为初始标题实体识别模型； 基于标题样本组， 对初始标题实体识别模型进行训练， 得到训练后 的标题实体识别模型。 该实施方式减少了标注时 间， 提高了标题实体识别模型识别的准确率和鲁 棒性。 权利要求书2页 说明书15页 附图4页 CN 114492400 A 2022.05.13 CN 114492400 A 1.一种标题实体识别模型训练方法， 包括： 基于物品信息样本组， 对初始掩码文本识别模型进行训练， 得到训练后的掩码文本识 别模型， 其中， 所述初始掩码文本识别模型包括预先训练的初始文本编码模型， 所述训练后 的掩码文本识别模型包括训练后的文本编 码模型， 所述物品信息样本组中的物品信息样本 包括： 样本掩码物品标题、 样本掩码物品属性信息、 对应所述样本掩码物品标题的标题标签 和对应所述样本掩码物品属性信息的属性标签； 将所述训练后的文本编码模型与预设的解码网络确定为初始标题实体识别模型； 基于标题样本组， 对所述初始标题实体识别模型进行训练， 得到训练后的标题实体识 别模型， 其中， 所述标题样 本组中的标题样本包括样本标注标题、 对应所述样本标注标题的 实体标签。 2.根据权利要求1所述的方法， 其中， 所述基于物品信息样本组， 对初始掩码文本识别 模型进行训练， 得到训练后的掩码文本识别模型， 包括： 基于所述物品信 息样本组和预设的标题掩码损失函数， 对所述初始掩码文本识别模型 进行训练， 得到训练后的掩码文本识别模型。 3.根据权利要求2所述的方法， 其中， 所述基于所述物品信 息样本组和预设的标题掩码 损失函数， 对所述初始掩码文本识别模型进行训练， 得到训练后的掩码文本识别模型， 包 括： 基于所述物品信息样本组、 所述标题掩码损 失函数和至少一个预设的损 失函数， 对所 述初始掩码文本识别模型进 行训练， 得到训练后的掩码文本识别模型， 其中， 所述至少一个 预设的损失函数包括以下至少一项： 属性 值掩码损失函数、 类目损失函数。 4.根据权利要求3所述的方法， 其中， 所述样本掩码物品属性信 息包括样本物品属性名 和对应所述样本物品属性名的掩码物品属性值， 所述属性标签为对应所述掩码物品属性值 的标签， 所述标题标签包括对应所述样本掩码物品标题的掩码标题标签和类目标签； 以及 所述对所述初始掩码文本识别模型进行训练， 得到训练后的掩码文本识别模型， 包括： 从所述物品信息样本组中选择物品信息样本； 将所述物品信息样本输入至所述初始掩码文本识别模型中， 得到物品信息识别结果， 其中， 所述物品信息识别结果包括物品识别标题、 物品识别属性 值和物品识别类目； 基于所述标题掩码损失函数， 确定所述物品识别标题与 所述物品信 息样本包括的掩码 标题标签之间的标题差异值； 基于所述属性值掩码损失函数， 确定所述物品识别属性值与 所述物品信 息样本包括的 属性标签之间的属性 值差异值； 基于所述类目损失函数， 确定所述物品识别类目与所述物品信 息样本包括的类目标签 之间的类目差异值； 基于所述标题差异值、 所述属性值差异值和所述类目差异值， 调整所述初始掩码文本 识别模型的网络参数。 5.根据权利要求 4所述的方法， 其中， 所述方法还 包括： 响应于所述标题差异值、 所述属性值差异值和所述类目差异值满足预设条件， 将所述 初始掩码文本识别模型确定为训练后的掩码文本识别模型。 6.根据权利要求3所述的方法， 其中， 所述物品信 息样本组中的物品信 息样本是通过以权　利　要　求　书 1/2 页 2 CN 114492400 A 2下步骤生成的： 获取目标领域的物品信息组， 其中， 所述物品信息组中的物品信息包括物品标题和物 品属性信息， 所述物品属性信息包括物品属性名和对应所述物品属性名的物品属性 值； 对所述物品信息组包括的每个物品标题进行动态掩码， 以生成掩码物品标题， 得到掩 码物品标题组； 对所述物品信 息组包括的每个物品属性信 息中的物品属性值进行动态掩码， 以生成掩 码物品属性信息； 对于所述掩码物品标题组中的每个掩码物品标题， 基于所述掩码物品标题、 所述掩码 物品标题对应的掩码标题标签、 类目标签和掩码物品属性信息和所述掩码物品属性信息包 括的掩码物品属性 值对应的属性标签， 生成物品信息样本 。 7.一种标题实体识别方法， 包括： 获取标题信息； 将所述标题信 息输入至预先训练的标题实体识别模型， 得到标题实体识别结果， 其中， 所述标题实体识别模型 是通过如权利要求1 ‑6中任一所述的方法生成的。 8.一种标题实体识别模型训练装置， 包括： 第一训练单元， 被配置成基于物品信 息样本组， 对初始掩码文本识别模型进行训练， 得 到训练后的掩码文本识别模型， 其中， 所述初始掩码文本识别模型包括预先训练的初始文 本编码模型， 所述训练后的掩码文本识别模型包括训练后的文本编码模型， 所述物品信息 样本组中的物品信息样本包括： 样 本掩码物品标题、 样本掩码物品属性信息、 对应所述样本 掩码物品标题的标题标签和对应所述样本掩码物品属性信息的属性标签； 确定单元， 被配置成将所述训练后的文本编码模型与 预设的解码网络确定为初始标题 实体识别模型； 第二训练单元， 被配置成基于标题样本组， 对所述初始标题实体识别模型进行训练， 得 到训练后的标题实体识别模型， 其中， 所述标题样本组中的标题样本包括样 本标注标题、 对 应所述样本标注标题的实体标签。 9.一种标题实体识别装置， 包括： 获取单元， 被配置成获取 标题信息； 输入单元， 被配置成将所述标题信息输入至预先训练的标题实体识别模型， 得到标题 实体识别结果， 其中， 所述标题实体识别模型是通过如权利要求 1‑6中任一所述的方法生成 的。 10.一种电子设备， 包括： 一个或多个处 理器； 存储装置， 其上存 储有一个或多个程序； 当所述一个或多个程序被所述一个或多个处理器执行， 使得所述一个或多个处理器实 现如权利要求1 ‑7中任一所述的方法。 11.一种计算机可读介质， 其上存储有计算机程序， 其中， 所述程序被处理器执行时实 现如权利要求1 ‑7中任一所述的方法。权　利　要　求　书 2/2 页 3 CN 114492400 A 3