(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210251897.X (22)申请日 2022.03.15 (71)申请人 河钢数字技 术股份有限公司 地址 050000 河北省石家庄市高新区黄河 大道136号科技中心1号楼 (72)发明人 郑士良　刘威宪　黎荣华　安宝　 苑文策　刘东东　林楠　张夏楠　 (74)专利代理 机构 石家庄知住优创知识产权代 理事务所(普通 合伙) 13131 专利代理师 王丽巧 (51)Int.Cl. G06F 16/22(2019.01) G06F 16/23(2019.01) G06F 16/25(2019.01) G06F 16/28(2019.01)G06F 21/56(2013.01) G06F 11/14(2006.01) (54)发明名称 一种基于实时数据库的数据采集存 储方法 (57)摘要 本发明公开了一种基于实时数据库的数据 采集存储方法， 涉及大数据采集与存储技术领 域。 包括： S1、 启动杀毒软件， 对数据库进行扫描， 确认无任何流氓软件或病毒植入后， 启动数据源 实时数据库设备数据； S2、 通过以restfu l接口方 式的java项目， 定时采 集数据； S3、 采 集到接口数 据后， 分别存储到实时数据表， N小时数据表和历 史数据表。 该基于实时数据库的数据采集存储 方 法将实时采集数据与 历史数据分离， 用三张表分 别存储实时数据、 N小时数据、 全量历史数据， 展 示实时数据用实时数据表， 查看实时数据趋势用 N小时数据表， 查询历史数据用历史数据表， 这时 展示实时数据时页面反馈速度就会比之前显著 变短。 权利要求书1页 说明书5页 附图1页 CN 114547045 A 2022.05.27 CN 114547045 A 1.一种基于实时数据库的数据采集存储方法， 其特征在于： 该基于实时数据库的数据 采集存储方法包括： S1、 启动杀毒软件， 对数据库进行扫描， 确认无任何流氓软件或病毒植入后， 启动数据 源实时数据库设备 数据； S2、 通过以restful接口方式的java项目， 定时采集数据； S3、 采集到 接口数据后， 分别存 储到实时数据表， N小时数据表和历史数据表； S4、 采集到数据后， 将采集到的数据传输到云网盘内后， 并关闭除数据源实时数据设备 数据以外的后台运行程序； S5、 在存储到实时数据表前， 将实时数据表中原有的数据进行覆盖， 并推送至实时数据 表内， 并通过BI页面展示实时点 位数据； S6、 在存储到N小时数据表前， 追加更新并删除N小时之前的数据， 推送至N小时数据表 内， 并通过BI页面展示 N小时内点 位数据； S7、 在存储到历史数据表前， 追加更新， 推送至历史数据表内， 并通过BI页面展示历史 点位数据； S8、 将实时点 位数据表上显示的数据进行打印， 并将打印后的复印件 存储在档案袋内。 2.根据权利要求1所述的一种基于实时数据库的数据采集存储方法， 其特征在于： 所述 S3中进一步的步骤包括： 在区分实时数据表、 N小时数据表和历史数据表后， 分别对实时数 据、 N小时数据和历史数据进行存 储， 并自动上传云网盘内。 3.根据权利要求1所述的一种基于实时数据库的数据采集存储方法， 其特征在于： 所述 S4中进一 步的步骤 包括： 清除其 他软件占用的内存空间， 并关闭杀毒软件。 4.根据权利要求1所述的一种基于实时数据库的数据采集存储方法， 其特征在于： 所述 S5中进一步的步骤包括： 在 存储到实时数据 表前， 对需要存储的数据进 行备份， 在备份后上 传云网盘。 5.根据权利要求1所述的一种基于实时数据库的数据采集存储方法， 其特征在于： 所述 S6中进一步的步骤包括： 在存储到N小时数据表前， 对需要存储的数据进行备份， 在备份后 上传云网盘。 6.根据权利要求1所述的一种基于实时数据库的数据采集存储方法， 其特征在于： 所述 S7中进一步的步骤包括： 在 存储到历史数据 表前， 对需要存储的数据进 行备份， 在备份后上 传云网盘。 7.根据权利要求1所述的一种基于实时数据库的数据采集存储方法， 其特征在于： 所述 S8中进一步的步骤包括： 在将数据存储到实时数据表、 N小时数据表和历史数据表后， 将上 传至云网盘内的存 储数据删除。 8.根据权利要求1所述的一种基于实时数据库的数据采集存储方法， 其特征在于： 所述 S2中进一步的步骤包括： 在采集过程中， 打开监控设备， 对采集过程实时监控， 并在发生异 常时， 及时警报。 9.根据权利要求1所述的一种基于实时数据库的数据采集存储方法， 其特征在于： 所述 S1中进一 步的步骤 包括： 杀毒软件在对数据库内的进行全面扫描后， 自动关闭。权　利　要　求　书 1/1 页 2 CN 114547045 A 2一种基于实时数据库的数据采集存 储方法 技术领域 [0001]本发明涉及大数据采集与存储技术领域， 具体为一种基于实时数据库的数据采集 存储方法。 背景技术 [0002]大数据时代， 需要对工厂设备运行情况所产生的数据进行实时监测， 本发明是基 于restful接口方式采集实时数据库数据， SpringBoot框架的java项目将数据转存至关系 数据库， 然后通过BI分析工具展示关系 数据库中的数据。 传统的存储方式是将接口采集到 的数据都放在一张表中供BI分析工具展示， 但是实时数据库关于 设备运行情况的数据存在 基础点位多， 更新频率快的特点， 所以也需要BI分析工具能有较高的刷新频率， 一方面需要 考虑BI工具刷新及缓存数据的能力， 另一方面 也需要考虑数据存 储方式的选择。 [0003]传统的数据存储一般会将接口所采集到的数据都转存到一张表中， 数据更新方式 为覆盖更新， 数据 表中只包含当前采集的实时数据， 这样BI工具展示数据时， 数据 表中数据 较少， 确实可以敏捷地给页面反馈数据， 但是不能满足展示历史数据的需求。 这时又有另一 种方式是将实时数据累计追加更新到数据表中， 将历史数据与实时数据都存入同一张表， BI工具展示历史数据与实时数据都可以查询这张数据 表， 但是由于实时数据库设备运行相 关点位多， 更新频率高， 采集时间久了， 会导致目标库中数据量变大， 在大数据量基础上取 实时点位数据时， BI页面的反馈时间也会相应变长， 影响用户体验； 鉴于此， 我们提出了一 种基于实时数据库的数据采集存 储方法。 发明内容 [0004]（一） 解决的技 术问题 针对现有技术的不足， 本发明提供了一种基于实时数据库的数据采集存储方法， 解决了上述背景技 术提出的问题。 [0005]（二） 技术方案 为实现以上目的， 本发明通过以下技术方案予以实现： 一种基于实时数据库的数 据采集存 储方法包括： S1、 启动杀毒软件， 对数据库进行扫描， 确认无任何流氓软件或病毒植入后， 启动 数据源实时数据库设备数据， 通过杀毒软件扫描数据库内数据， 保证防止病毒或流氓软件 干扰、 盗取数据库内信息， 有效的提高整个数据在采集和上传时的安全， 同时在扫描后， 自 动关闭， 能够 有效的减少内存占用空间， 保证数据在 采集或上传时， 不会由于内存空间占用 过多导致计算机卡顿或死机现象， 提高了整个数据上传、 采集和备份的安全。 [0006]S2、 通过以restful接口方式的java项目， 定时采集数据， 在采集过程中， 为防止计 算机死机导致采集数据丢失， 同时防止在采集时由于计算机死机导致工作没有继续进行， 通过实时监控， 能够在 采集数据时出现错误能够即时进 行更正， 从而提高了采集效率， 同时 保证采集过程中的安全性。说　明　书 1/5 页 3 CN 114547045 A 3