(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211068938.8 (22)申请日 2022.08.30 (71)申请人 西安理工大 学 地址 710048 陕西省西安市碑林区金花 南 路5号 (72)发明人 李军怀　武允文　王怀军　崔颖安　 张发存　 (74)专利代理 机构 西安弘理专利事务所 61214 专利代理师 王敏强 (51)Int.Cl. G06F 16/36(2019.01) G06F 16/35(2019.01) G06F 16/33(2019.01) G06F 40/211(2020.01) G06K 9/62(2022.01)G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 融合实体描述与路径信息的知识图谱表示 学习模型的方法 (57)摘要 本发明公开了一种融合实体描述与路径信 息的知识图谱表示学习模型的方法， 首先从大型 知识图谱Freebase中抽取两个子集作为训练集， 结合Ruobing  Xie人为训练集所做的实体描述， 将二者输入微调过的强力优化的预训练语言表 征模型RoBERT中， 通过自注意力机制和一个包括 4个全连接层、 激活函数Relu的前馈神经网络进 行训练学习， 在最后一层输出融合实体描述的实 体、 关系表示学习向量； 然后将知识图谱转化成 融入有序关系路径信息的向量， 输出所有训练集 三元组的能量值EP； 然后采用梯度下降优化三元 组的向量表示， 训练得到知识图谱表示学习模 型。 本发明提升表示学习路径建模效率， 增强知 识图谱表示学习模型的多跳 推理能力。 权利要求书4页 说明书13页 附图2页 CN 115438189 A 2022.12.06 CN 115438189 A 1.融合实体描述与路径信息的知识图谱表示学习模型的方法， 其特征在于， 具体按照 以下步骤实施： 步骤1、 从大型知识图谱Freebase中抽取两个子集作为训练集， 结合Ruobing  Xie人为 训练集所做的实体描述， 将二者输入进微调过的强力优化的预训练语言表征模型RoBERT 中， 通过自注 意力机制和一个包括4个全连接层、 激活函数Relu的前馈神经网络进 行训练学 习， 在最后一层输出融合实体描述的实体、 关系表示学习向量； 步骤2、 利用基于有序关系路径的知识图补全表示学习OPTransE模型将知识图谱转化 成融入有序关系路径信息的向量， 输出 所有训练集 三元组的能量 值EP； 步骤3、 结合步骤1、 步骤2输出的训练向量， 计算出基于实体描述和路径信息的能量值 ED， 与基于路径信息的能量值EP相加， 每个三元组的总能量值定义为ED+EP， 然后采用梯度下 降优化三元组的向量表示， 目标 是通过最小化总能量 值， 训练得到知识图谱表示学习模型。 2.根据权利要求1所述的融合实体描述与路径信息的知识图谱表示学习模型的方法， 其特征在于， 所述 步骤1具体按照以下步骤实施： 步骤1.1、 抽取大型知识图谱Freebase的两个子集——FB15k ‑237与FB15K中 的三元组， 将三元组视为包含三个句子的文本序列， 并使用实体描述替换掉 实体； 本发 明使用[CLS]分 类标签和[SEP]分割标签， 将原始RoBERTa模型调整为接收规定形式的文本序列输入， 规定 形式为头实体 ‑关系‑尾实体， 调整后的模型输入具体如下： S1.1.1、 假定存在三元组(SteveJobs， founded， AppleInc)， 在每个输入序列的头部位 置设置分类标签[CLS]； S1.1.2、 将头实体 “Steve Jobs.”或者是对应的实体描述 “Steven Paul Jobs was an  American  business  mag‑nate， entrep reneur and investor ”表示成一个包含a个token的 句子， token是自然语言输入进RoBERTa模型的最小单位， 表示为 单个英文词汇； S1 .1 .3、 将关系 “founded ”表示成一个包含b个token的句子， S1.1.4、 将尾实体 “Apple Inc.”或者是对应的实体描述同样被表示成一个包含c个 token的句子： S1.1.5、 在实体与关系之间加入特殊分割标签[ SEP]； 步骤1.2、 将步骤1.1中所转化的文本序列进行初始化结构调整后， 作 为RoBERTa模型的 输入， 最后利用特殊分类标签[CLS] 的隐态输出向量C预测三元组是否正确， 通过模型中基 于多头自注 意力机制的多层 Transfomer编码块对文本进行建模， 使 得每个词都能融合整个 句子的信息， 自注意力机制的定义如下： 从每个编码块的输入向量即每个单词的词向量中生成三个向量： 查询向量Qi， 键向量Ki 和值向量Vi， 令在第i个头的自注意力机制向量为Xi， 分别根据按照公式(1)、 (2)和(3)计算 出Vi、 Ki与Qi： Vi＝WVXi    (1) Ki＝WKXi    (2) Qi＝WQXi    (3)权　利　要　求　书 1/4 页 2 CN 115438189 A 2WQ、 WK与WV为权重值， 最后根据Vi、 Ki与Qi求表示学习向量Xi的对应归一 化指数函数softmax： dk为Qi维数， Attention为自注意力， 为Ki的转置， 在多头注意力机制下， 每一个注意力头上都重复上述操作， 通过不同的注意力头得到 多个特征表示， 将这些多头的输出特征向量进行拼接， 与随机初始化的权重矩阵相乘， 再连 接一个全连接层进行降维； 得到多头注意机制后， 在每个编码块中跟随一个LayerNormalize(层归一化)步骤， 层 归一化的操作如公式(5)和(6)所示： Y＝LayerNormalize([Y1；…； Yh]WY+X)    (5) 其中， Y为注意力头输出， Relu为激活函数， W和b为可调 参数， [Y1；…； Yh]表示对多头输 出进行拼接， O＝[o1， o2，…， on]为一个编码块的输出， 这个输出同样作为下个编码块的输 入， 之后以此类 推， 直到最后一个编码块的输出 结果作为整个Transformer的输出； 步骤1.3、 对步骤1.2所输出的向量O求平均作 为最终的模型输出， 得到基于实体描述的 向量。 3.根据权利要求2所述的融合实体描述与路径信息的知识图谱表示学习模型的方法， 其特征在于， 所述 步骤2具体按照以下步骤实施： 步骤2.1、 对步骤1.1输入的三元组进行长路径建模： 公式(7)定义了能量函数E(h， ps＝n， t)， 表示头实体， 表示尾实体， 表示 关系， 表示知识图谱中全体实体集合， 表示全体关系集合， ps＝i为从h到t的关系路径的 其中一条， 比如： n为关系路径个数， 如果从h到t的路径是合理的， 则得到 的能量值较低， hp＝f(p， h)， tp＝g(p， t)    (8) hp与tp分别表示有序关系路径p中头实体h和尾实体t的表示学习向量， 为给定路径p 中关于第i个关系的序列矩阵， ri为第i个关系， 直接相连的三元组(h， r， t)视为头实体h和 尾实体t之间的存在单步路径r， 因此， (h， r， t)的能量值可以通 过将直接关系r当作ps＝1代入 公式(7)获得； 步骤2.2、 将关系r对应的头实体h和尾实体t通过两个不同的投影矩阵分别投影到不同 的超平面上， 设Wr， 1和Wr， 2分别表示关系r的头实体和尾实体的投影矩阵， 假设有一条从h到t 的路径r1， r2，…， rn， 定义以下公式(10)：权　利　要　求　书 2/4 页 3 CN 115438189 A 3