(19)中华 人民共和国 国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210060118.8 (22)申请日 2022.01.19 (71)申请人 北京工业大 学 地址 100124 北京市朝阳区平乐园10 0号 (72)发明人 史宏纬　王洁　 (74)专利代理 机构 北京思海天达知识产权代理 有限公司 1 1203 代理人 沈波 (51)Int.Cl. G06F 40/253(2020.01) G06F 40/295(2020.01) G06F 40/30(2020.01) G06N 3/04(2006.01) (54)发明名称 基于全局指针网络的实体关系联合抽取方 法 (57)摘要 本发明公开了基于全局指针网络的实体关 系联合抽取方法， 通过将实体首尾位置视为一个 整体进行判别来解决目标不一致问题。 引入了条 件层归一化融合头实体信息以指导模型捕捉三 元组方向特征； 并增添了关系分类任务抽取出句 子潜在语义关系以过滤掉部分预测错误的三元 组。 本发明在公开数据集CMeIE上的实验结果表 明本发明构建的模型能有效地识别句子中的关 系三元组。 设计了全局指针网络， 作为解码器对 输入语句进行关系和尾实体的抽取。 全局指针网 络将实体首尾位置视为一个整体进行判别， 实现 了训练与预测目标的一致性， 增强了实体关系抽 取模型的性能， 提高模型抽取三元组的精确率。 权利要求书3页 说明书9页 附图1页 CN 114417839 A 2022.04.29 CN 114417839 A 1.基于全局指针网络的实体关系联合抽取 方法， 其特 征在于： 该 方法包括以下步骤： 步骤1： 对输入句子进行特征提取； 使用NEZHA预训练语言模型对输入语句进行全局特 征提取， 挖掘深层次语义特 征， 得到上 下文信息 丰富的编码向量； 步骤2： 识别出句子中所有的头实体； 将步骤2得到的编码向量使用指针网络分别标注 出句子中每个字是否为实体的首尾位置， 并采用最近匹配原则， 即每个首位置标记向后匹 配最近尾位置标记， 将首位置标记到尾位置标记所对应子序列识别为头实体； 步骤3： 引入条件层归一化方法融合编码向量与头实体特征； 将层归一化结构中对应的 偏置和权 重设置为头实体特 征的函数， 将得到的融合向量作为关系与尾实体抽取的输入； 步骤4： 抽取每个头实体在特定关系下的尾实体； 设计了全局指针网络， 根据步骤4输出 的融合向量在每一种 预定义关系 下， 将句子划分为若干个连续子序列并对子序列打分， 根 据分数判别出哪些子序列为 正确的尾实体； 步骤5： ， 模型可能抽取出包含错误语义关系的三元组， 将编码向量中具有全局语义信 息的[CLS]向量作为句向量， 对其关系分类以识别出句子中潜在语义关系并以此过滤掉抽 取结果中部分不 合理三元组； 基于标注策略的方法对实体关系抽取任务进行建模和求 解， 如式(1)所示: 其中， h、 r、 t分别表示三元组的头实体、 关系、 尾实体， X表示输入的句子， Ω表示数据 集 的所有关系构成的集 合。 2.根据权利要求1所述的基于全局指针网络的实体关系联合抽取方法， 其特征在于： 步 骤1： 采用NEZHA预训练语言模型对输入语句进行 特征提取， 并得到相应的编码向量； NEZHA基于BERT预训练语言模型开发， 额外使用了函数式相对位置编码、 全词掩码、 混 合精度训练等优化方案， 能够增强模型对输入语句上 下文信息的表示能力 H＝NEZHA(X)  (2) 其中， X＝(x1,x2,…, χn)表示输入的句 子， n为输入句子的长度， H＝[h1,h2,…,hn]表示 句子各个位置的编码向量。 3.根据权利要求1所述的基于全局指针网络的实体关系联合抽取方法， 其特征在于： 步 骤2： 直接对编码向量H进行解码以识别出输入语句中所有可能的头实体， 训练两个二元指 针标注器， 通过为每个字分配二元标签(0/1)分别 标注出头实体的首尾位置， 其中1表示当 前字是某个头实体的首/尾， 0表示当前字不是一个头实体的首/尾位置； 标注过程如下所 示： 其中， W(·)表示训练参数矩阵， b(·)表示偏置向量， σ表示sigmoid激活函数； 和 分别表示句子中第i 位置的字为头实体首和尾的概 率； 模型将根据概率与阈值的大小关系决定每个字的二元标签； 对于句子中包含多个头实 体的情况， 采用最近匹配原则， 即每个首位置标记向后匹配最近尾位置标记， 将首位置标记权　利　要　求　书 1/3 页 2 CN 114417839 A 2到尾位置标记所对应子序列识别为头实体； 采用最小化 二分类交叉熵损失函数训练模型参数， 如下 所示： 其中， L表示序列长度， 表示第i个字符在起始或结束位置的真实标签。 4.根据权利要求1所述的基于全局指针网络的实体关系联合抽取方法， 其特征在于： 步 骤3： 与步骤2识别头实体不同， 除了输入句子的编码向量外， 在抽取关系和尾实体时需要额 外考虑头实体特 征； 引入了条件层归一化方法CLN， 将层归一化结构中对应的偏置和权重设置为关于待融 合条件的函数； CL N的具体计算如下 所示： 其中， S表示CLN方法输入的特征信息， μ表示特征信息的均值， σ2表示特征信息的方差， ∈是一个趋于0的正数， γ和β 是无条件的训练参数， cγ和cβ分别表示输入的两个待融合的 条件信息， W1和W2为待融合条件信息的训练矩阵； CLN结构不仅通过W1和W2训练矩阵对齐了cγ、 cβ、 γ、 β 的维度， 还将cγ和cβ映射到不同的 向量空间中学习待融合条件的方向信息； 使用CLN方法对头实体特征和步骤1输出的编码向量进行特征融合， 并将CLN方法中的 cγ和cβ都设置为头实体编码； 特 征融合过程如下 所示： H'＝CLN(H,hhead,hhead) (7) hhead＝Concat(hstart,hend) (8) 其中， H'表示用于关系和尾实体抽取的融合编码向量， hhead表示为头实体编码， 由步骤1 和步骤2抽取 出的实体起始与结束位置对应的编码向量hstart和hend拼接得到 。 5.根据权利要求1所述的基于全局指针网络的实体关系联合抽取方法， 其特征在于： 步 骤4： 在每一个预定义关系下根据融合特征抽取出句子中可能存在的尾实体； 设计全局指针 网络将实体首尾位置视作整体进行判别， 而不是将实体首尾位置分开标注， 从而使得模型 更具有全局观， 并实现了模型训练与预测目标的一 致性； 全局指针网络将长度为n的输入句子视为n(n+1)/2个长度不同的连续子序列， 表示形 式为(i,j)， 其中i表 示起始位置， j表 示结束位置； 对每一个子序列打分， 根据分数判别出正 确的尾实体； 假设数据集中共有m种关系类别， 模型将分别在m个关系子空间下对子序列进 行判别， 将关系和尾实体抽取任务转换为m个 “n(n+1)/2选k ”的多标签分类任务， k表 示尾实 体的数量； 首先， 全局指针网络使用了两个线性层对融合编码向量H'做线性变换， 得到向量序列 和 其次， 为了增强指针网络对尾 实体长度和跨 度的敏感性， 引入了相对位置编码RoPE,将满足 的变换矩阵R应用到qa和ka向 量中； 最后， 用 和 的内积sα(i,j)， 表示从i到j的子序列作为完整尾实体的分数， 所有分 数大于阈值的子序列都被视为当前头实体在第α种关系 下的尾实体； 全局指针网络标注流权　利　要　求　书 2/3 页 3 CN 114417839 A 3