(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210523659.X (22)申请日 2022.05.13 (71)申请人 广州欢聚时代信息科技有限公司 地址 511442 广东省广州市番禺区南村镇 万博二路79 号万博商务区万达商业广 场北区B-1栋23层 (72)发明人 罗丹　 (74)专利代理 机构 广州利能知识产权代理事务 所(普通合伙) 44673 专利代理师 王增鑫 (51)Int.Cl. G06V 20/62(2022.01) G06V 30/166(2022.01) G06V 30/18(2022.01) G06V 30/19(2022.01)G06V 10/32(2022.01) G06V 10/44(2022.01) G06V 10/764(2022.01) G06V 10/82(2022.01) G06K 9/62(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 票据信息提取方法及其装置、 设备、 介质、 产 品 (57)摘要 本申请公开一种票据信息提取方法及其装 置、 设备、 介质、 产品， 所述方法包括： 对票据图像 进行文本识别， 获得其中各个文本区域的文本框 的坐标信息及所述文本框内的文本信息； 构造图 结构数据， 其中每个节点表示单个所述的文本框 的坐标信息、 文本信息的特征信息， 且任意两个 节点之间的边表示该两个节点的文本框之间的 相对距离信息的特征信息； 采用预设的图卷积神 经网络对所述图结构数据中的节点和边的特征 信息进行多次迭代更新， 获得更新后的图结构数 据； 将更新后的图结构数据中的节 点的特征信息 输入分类网络进行分类， 确定各个文本框的文本 信息相对应的分类标签。 本申请可以从票据图像 中精准提取出订单数据所需的文本信息 。 权利要求书3页 说明书17页 附图7页 CN 114782943 A 2022.07.22 CN 114782943 A 1.一种票据信息提取 方法， 其特 征在于， 包括如下步骤： 对票据图像进行文本识别， 获得其中各个文本区域的文本框的坐标信 息及所述文本框 内的文本信息； 构造图结构数据， 其中每个节点表示单个所述的文本框的坐标信息、 文本信息的特征 信息， 且任意两个节点之间的边表示该两个节点的文本框之间的相对距离信息的特征信 息； 采用预设的图卷积神经网络对所述图结构数据中的节点和边的特征信息进行多次迭 代更新， 获得 更新后的图结构数据； 将更新后的图结构数据中的节点的特征信 息输入分类网络进行分类， 确定各个文本框 的文本信息相对应的分类标签。 2.根据权利要求1所述的票据信息提取方法， 其特征在于， 对票据图像进行文本识别， 包括如下步骤： 调用预设的文本检测模型对所述票据图像进行检测， 获得其中各个文本区域相对应的 文本框的坐标信息； 根据所述文本框的坐标信息从所述票据图像中截取出各个文本区域相对应的行文本 图像； 将所述行文本图像输入预训练至收敛状态的文本识别模型中进行文本识别， 获得相应 的文本信息 。 3.根据权利要求1所述的票据信息提取方法， 其特征在于， 构造 图结构数据， 包括如下 步骤： 创建图结构数据的图结构， 所述图结构包括节点和用于描述任意两个节点之间的连接 信息的边； 获取每个文本框相对应的坐标信息的特征向量及文本信息的特征向量对应存储为所 述图结构中的一个节点中的特 征信息， 所述 坐标信息包括所述文本 框的四个角点的坐标； 根据任意两个文本框之间的坐标信 息计算该两个文本框的相对距离信 息的特征向量， 存储为该两个文本框相对应的节点之 间的边的特征信息， 所述相对距离信息包括所述两个 文本框之间的纵向相对距离和横向相对距离 。 4.根据权利要求3所述的票据信 息提取方法， 其特征在于， 获取每个文本框相对应的坐 标信息的特征向量及文本信息的特征向量对应存储为所述图结构中的一个节点中的特征 信息， 包括如下步骤： 将每个文本框相对应的坐标信息转换为特 征向量； 根据预设的多语言词典编码每个文本框相对应的文本信 息的嵌入向量， 采用预设的文 本特征提取模型提取 各个嵌入向量以获得 各个文本 框的文本信息的特 征向量； 将每个文本框的坐标信息的特征向量及该文本框的文本信息的特征向量构造为特征 信息， 将该 特征信息存 储于所述图结构的单个节点中。 5.根据权利要求1所述的票据信 息提取方法， 其特征在于， 采用预设的图卷积神经网络 对所述图结构数据中的节点和边的特 征信息进行多次迭代更新， 包括如下步骤： 采用所述图卷积神经网络 中的信息提取子网获取所述图结构数据中节点的更新信 息， 所述更新信息为所述节点的特征信息的第一高层语义信息叠加 其第二高层语义信息的显权　利　要　求　书 1/3 页 2 CN 114782943 A 2著信息之后获得， 所述显著信息为所述第二高层语义信息匹配所述图结构数据中边的特征 信息为权 重提取获得； 采用所述图卷积神经网络 中的边更新子网更新所述图结构数据中的边的特征信 息， 更 新后的边的特征信息为更新前的边的特征信息的高层语义信息与节点的多路高层语义信 息进行叠加所 得； 采用图卷积神经网络中的节点更新子网将所述节点的特征信息与其更新信息拼接后 对图结构数据的节点的特征信息进行更新， 在预设次数范围内继续迭代以上过程直至达到 该预设次数。 6.根据权利要求5所述的票据信 息提取方法， 其特征在于， 采用所述图卷积神经网络中 的信息提取子网获取 所述图结构数据中节点的更新信息， 包括如下步骤： 编码所述图结构数据获得节点特 征信息矩阵和边特 征信息矩阵； 采用信息提取子网中的第一全连接层提取所述节点特征信息矩阵的第一高层语义信 息； 采用信息提取子网中的第二全连接层提取所述节点特征信息矩阵的第二高层语义信 息； 采用信息提取子网中的归一化层对所述边特征信 息矩阵进行归一化， 获得边特征语义 信息； 在信息提取子网中将第二高层语义信息与所述边特征语义信息的乘积矩阵获得显著 信息， 与所述第一高层语义信息求和后激活输出， 获得图结构数据中的节点的更新信息 。 7.根据权利要求6所述的票据信 息提取方法， 其特征在于， 采用所述图卷积神经网络中 的边更新子网更新所述图结构数据中的边的特 征信息， 包括如下步骤： 采用边更新子网的第一全连接层提取 所述节点特 征信息矩阵的第一高层语义信息； 采用边更新子网的第二全连接层提取 所述节点特 征信息矩阵的第二高层语义信息； 采用边更新子网的第三全连接层提取 所述边特征信息矩阵的高层语义信息； 将所述边特征信息矩阵的高层语义信息与所述节点特征信息矩阵的各个高层语义信 息进行求和后激活输出， 作为所述图结构数据中的边的更新后的特 征信息。 8.一种票据信息提取装置， 其特 征在于， 包括： 文本识别模块， 用于对票据图像进行文本识别， 获得其中各个文本区域的文本框的坐 标信息及所述文本 框内的文本信息； 图结构化模块， 用于构造 图结构数据， 其中每个节点表示单个所述的文本框的坐标信 息、 文本信息的特征信息， 且任意两个节点之间的边表示该两个节点的文本框之间的相对 距离信息的特 征信息； 信息更新模块， 用于采用预设的图卷积神经网络对所述图结构数据中的节点和边的特 征信息进行多次迭代更新， 获得 更新后的图结构数据； 信息分类模块， 用于将更新后的图结构数据中的节点的特征信 息输入分类网络进行分 类， 确定各个文本 框的文本信息相对应的分类标签。 9.一种计算机设备， 包括中央处理器和存储器， 其特征在于， 所述中央处理器用于调用 运行存储于所述存储器中的计算机程序以执行如权利要求1至7中任意一项所述的方法的 步骤。权　利　要　求　书 2/3 页 3 CN 114782943 A 3