(19)国家知识产权局 (12)发明 专利 (10)授权公告 号 (45)授权公告日 (21)申请 号 202210118577.7 (22)申请日 2022.02.08 (65)同一申请的已公布的文献号 申请公布号 CN 114155547 A (43)申请公布日 2022.03.08 (73)专利权人 珠海盈米基金销售有限公司 地址 519000 广东省珠海市横琴新区环岛 东路3000号2719室 (72)发明人 吴珂皓　薛逢源　李博岩　 (74)专利代理 机构 广东勰思律师事务所 4 4609 专利代理师 赵赛 (51)Int.Cl. G06V 30/413(2022.01) G06V 10/44(2022.01) G06V 10/764(2022.01)G06V 10/82(2022.01) G06K 9/62(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01) (56)对比文件 US 20141 15442 A1,2014.04.24 Ningning Ma et al.Fun nel Activati on for Visual Recogn ition. 《arXiv: 2007.11824v2》 .2020, 审查员 邱立英 (54)发明名称 一种图表 识别方法、 装置、 设备及存 储介质 (57)摘要 本发明公开了一种图表识别方法、 装置、 设 备及存储介质， 该方法包括： 获取包含 图表数据 的文本文件； 将文本文件转换为预设格式的图 片； 将图片输入图表定位检测器中， 输出图表数 据在图片中的定位结果； 其中， 图表定位检测器 由预设的神经网络经包含样本图表数据的样本 数据集训练得到。 本发明中包含图表数据的文本 文件可以是任意格式种类的文本文件， 将该文本 文件转换为图片， 则避免了 现有技术中需要使用 规范的协议来解析文本定位图表 位置的操作， 将 转换后的图片直接输入预先训练完成的图表定 位检测器中， 则可以直接输出图表数据在图片中 的定位结果， 能够解决现有技术从文本文件中识 别图表效率低下、 且识别图表 准确性较低的技术 问题。 权利要求书3页 说明书11页 附图1页 CN 114155547 B 2022.07.12 CN 114155547 B 1.一种图表 识别方法， 其特 征在于， 包括： 获取包含图表数据的文本文件； 将所述文本文件转换为预设格式的图片； 将所述图片输入图表定位检测器中， 输出所述图表数据在所述图片中的定位结果； 其 中， 所述图表定位检测器由预设的神经网络经包 含样本图表数据的样本数据集训练得到； 所述样本数据集的获取， 包括： 获取样本图表数据； 将所述样本图表数据插入预设的幻灯片演示文稿中， 得到原始样本文本文件； 其中， 所 述预设的幻灯片 演示文稿包括文字段落与无表格图片； 使用格式转换器将所述原 始样本文本文件转 化为样本图片； 确定所述样本 图片的样本标签， 将具有所述样本标签的样本 图片作为样本数据集； 所 述预设的神经网络为Yolov5s网络或Yolov5l网络或Yolov5m网络或Yolov5x网络， 所述神经 网 络 采 用 改 进 的 F R e L U 激 活 函 数 ，改 进 的 F R e L U 激 活 函 数 表 示 为 ： 以二维空间位置 （i,j） 第c通道上非线性激活函数f()输入像素为中心的参数化池窗 口； w为在窗口通道中共享的系数， m为与通道相关的自定义值， a为自定义常数， δ为调节值， x为输入像素参数化池窗口； 所述样本数据集包括训练样本集和 测试样本集； 所述图表定位检测器的训练过程， 包括: 采用所述训练样本集训练预设的神经网络， 在所述神经网络的反 向传播中更新网络参 数， 直到所述神经网络的训练次数达 到预设的训练次数； 当所述神经网络的训练次数达到预设的训练次数时， 将所述测试样本集输入所述神经 网络中， 输出 得到网络损失值； 若所述网络损失值不符合预设的要求， 则返回执行所述采用所述训练样本集训练预设 的神经网络， 在所述神经网络的反向传播中更新网络参数， 直到所述神经网络的训练次数 达到预设的训练次数； 若所述网络损 失值符合预设的要求， 则保留所述神经网络当前的网络参数， 确定所述 神经网络为图表定位检测器； 所述将所述样本 图表数据插入预设的幻灯片演示文稿中， 得到原始样本文本文件， 包 括： 将所述样本图表数据插入预设的幻灯片演示文稿中， 判断所述样本图表数据 是否超出 所述幻灯片 演示文稿的纸张范围； 若所述样本图表数据超出所述幻灯片演示文稿的纸张范围， 则获取新的样本图表数 据， 返回执行所述将所述样本图表数据插入预设的幻灯片演示文稿中， 判断所述样本图表 数据是否超出 所述幻灯片 演示文稿的纸张范围； 若所述样本图表数据 未超出所述幻灯片演示文稿的纸张范围， 则确定当前包含所述样 本图表数据的所述幻灯片 演示文稿为原 始样本文本文件。 2.根据权利要求1所述的方法， 其特 征在于， 所述获取样本图表数据， 包括：权　利　要　求　书 1/3 页 2 CN 114155547 B 2通过爬虫技 术采集不同格式种类的多个原 始文件； 使用预设的正则表达式从所述多个原 始文件中提取图表数据作为样本图表数据。 3.根据权利要求1或2所述的方法， 其特征在于， 所述确定所述样本图片的样本标签， 将 具有所述样本标签的样本图片作为样本数据集， 包括： 解析所述幻灯片 演示文稿的可扩展标记语言XML部分； 依据所述可扩展标记语言XML部分确定所述样本图表数据在所述幻灯片演示文稿中的 位置以及所述样本图表数据的形状参数； 其中， 所述位置包括所述样本图表数据在所述幻 灯片演示文稿中的横坐标与纵坐标， 所述形状参数包括所述样本图表数据在所述幻灯片演 示文稿中的图表高度与图表宽度； 确定所述幻灯片 演示文稿的纸张高度和纸张宽度； 以所述横坐标、 所述纵坐标、 所述图表高度、 所述图表宽度、 所述纸张高度以及所述纸 张宽度作为所述样本图片的样本标签； 将具有所述样本标签的样本图片作为样本数据集。 4.一种图表 识别装置， 其特 征在于， 包括： 数据获取模块， 用于获取包 含图表数据的文本文件； 格式转换模块， 用于将所述文本文件转换为预设格式的图片； 图表识别模块， 用于将所述图片输入图表定位检测器中， 输出所述图表数据在所述图 片中的定位结果； 其中， 所述图表定位检测器由预设的神经网络经包含样本图表数据的样 本数据集训练得到； 所述样本数据集的获取， 包括： 获取样本图表数据； 将所述样本图表数据插入预设的幻灯片演示文稿中， 得到原始样本文本文件； 其中， 所 述预设的幻灯片 演示文稿包括文字段落与无表格图片； 使用格式转换器将所述原 始样本文本文件转 化为样本图片； 确定所述样本 图片的样本标签， 将具有所述样本标签的样本 图片作为样本数据集； 所 述预设的神经网络为Yolov5s网络或Yolov5l网络或Yolov5m网络或Yolov5x网络， 所述神经 网 络 采 用 改 进 的 F R e L U 激 活 函 数 ，改 进 的 F R e L U 激 活 函 数 表 示 为 ： 以二维空间位置 （i,j） 第c通道上非线性激活函数f()输入像素为中心的参数化池窗 口； w为在窗口通道中共享的系数， m为与通道相关的自定义值， a为自定义常数， δ为调节值， x为输入像素参数化池窗口； 所述样本数据集包括训练样本集和 测试样本集； 所述图表定位检测器的训练过程， 包括: 采用所述训练样本集训练预设的神经网络， 在所述神经网络的反 向传播中更新网络参 数， 直到所述神经网络的训练次数达 到预设的训练次数； 当所述神经网络的训练次数达到预设的训练次数时， 将所述测试样本集输入所述神经 网络中， 输出 得到网络损失值； 若所述网络损失值不符合预设的要求， 则返回执行所述采用所述训练样本集训练预设权　利　要　求　书 2/3 页 3 CN 114155547 B 3