全网唯一标准王
(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210834520.7 (22)申请日 2022.07.14 (71)申请人 平安科技 (深圳) 有限公司 地址 518000 广东省深圳市福田区福田街 道福安社区益田路5033号平 安金融中 心23楼 (72)发明人 王瑞国 张国辉 吴震操  (74)专利代理 机构 深圳市世联合知识产权代理 有限公司 4 4385 专利代理师 刘畅 (51)Int.Cl. G06F 16/25(2019.01) G06F 16/215(2019.01) G06F 16/23(2019.01) G06F 16/2458(2019.01)G06F 40/151(2020.01) (54)发明名称 一种基于定时轮询的批量数据导入方法及 相关设备 (57)摘要 本申请实施例属于数据处理技术领域, 涉及 一种基于定时轮询的批量数据导入方法及相关 设备, 包括根据客户端发送的导入请求获取导入 文件; 基于导入文件生成导入事件, 并获得导入 事件对应的导入进度参数; 响应于导入事件, 将 导入文件导入目标数据库, 并根据导入文件的导 入进度更新导入进度参数, 将导入进度参数存入 进度数据库; 接收客户端发送的定时查询请求, 根据定时查询请求从进度数据库获取导入进度 参数返回至客户端; 导入完成后, 根据接收到的 客户端发送的导入结果获取请求, 将导入结果发 送至客户端。 此外, 本申请还涉及区块链技术, 导 入文件可存储于区块链中。 本申请可以定时获取 导入文件的导入进度, 根据导入 结果可以获知导 入数据是否成功。 权利要求书2页 说明书10页 附图3页 CN 115203304 A 2022.10.18 CN 115203304 A 1.一种基于 定时轮询的批量数据导入方法, 其特 征在于, 包括下述 步骤: 接收客户端发送的导入请求, 根据所述 导入请求获取导入文件; 基于所述 导入文件生成导入 事件, 并获得 所述导入事件对应的导入进度参数; 响应于所述导入事件, 将所述导入文件导入目标数据库, 并根据所述导入文件的导入 进度更新所述 导入进度参数, 将所述 导入进度参数存 入进度数据库; 接收所述客户端发送的定时查询 请求, 根据 所述定时查询 请求从所述进度数据库获取 所述导入进度参数, 并根据所述 导入进度参数获得导入进度返回至所述 客户端; 导入完成后, 根据接收到的所述客户端发送的导入结果获取请求, 获得导入结果并发 送至所述 客户端。 2.根据权利要求1所述的基于定时轮询的批量数据导入方法, 其特征在于, 所述将所述 导入文件导入目标 数据库的步骤 包括: 解析所述导入文件, 获得待导入数据, 并将所述待导入数据添加至任务队列; 开启导入线程, 从所述任务队列中依次取出所述待导入数据, 将所述待导入数据写入 所述目标 数据库。 3.根据权利要求2所述的基于定时轮询的批量数据导入方法, 其特征在于, 所述根据 所 述导入文件的导入进度更新所述导入进度参数, 将所述导入进度参数存入进度数据库的步 骤包括: 对所述待导入数据从所述任务队列中的取出进度进行监控, 根据 预设的计算进度计算 得到导入进度; 基于所述 导入进度更新 导入进度参数, 并将所述 导入进度参数写入所述进度数据库。 4.根据权利要求3所述的基于定时轮询的批量数据导入方法, 其特征在于, 所述对所述 待导入数据从所述任务队列中的取出进度进 行监控, 根据预设的计算进度计算得到导入进 度的步骤 包括: 从所述任务队列中取出待导入数据, 将所述待导入数据写入所述目标数据库, 并对所 述待导入数据进行 标记, 得到标记数据; 将所述标记数据添加至预设表格中, 得到落表数据; 计算所述 落表数据占全部所述待导入数据的比例, 得到落表数据比例; 根据所述 落表数据比例计算出落表进度, 将所述 落表进度作为 导入进度。 5.根据权利要求2所述的基于定时轮询的批量数据导入方法, 其特征在于, 所述解析所 述导入文件, 获得待导入数据的步骤 包括: 对所述导入文件进行解析, 得到文件 对象; 提取所述文件 对象中包 含的对象数据, 得到待导入数据。 6.根据权利要求2所述的基于定时轮询的批量数据导入方法, 其特征在于, 在所述开启 导入线程, 从所述任务队列中依次取 出所述待导入数据的步骤之前还 包括: 调度线程池监听所述任务队列; 确定所述线程池中有空 闲线程, 则开启一个线程作为 导入线程。 7.根据权利要求1至6中任一项所述的基于定时轮询的批量数据导入方法, 其特征在 于, 在所述将导入结果发送至所述 客户端的步骤之后还 包括: 当导入失败时, 接收所述 客户端发送的导入失败查看请求;权 利 要 求 书 1/2 页 2 CN 115203304 A 2根据所述 查看请求获取导入异常数据, 将所述 导入异常数据发送至所述 客户端。 8.一种基于 定时轮询的批量数据导入 装置, 其特 征在于, 包括: 获取模块, 用于 接收客户端发送的导入请求, 根据所述 导入请求获取导入文件; 生成模块, 用于基于所述导入文件生成导入事件, 并获得所述导入事件对应的导入进 度参数; 导入模块, 用于响应于所述导入事件, 将所述导入文件导入目标数据库, 并根据 所述导 入文件的导入进度更新所述 导入进度参数, 将所述 导入进度参数存 入进度数据库; 查询模块, 用于接收所述客户端发送的定时查询请求, 根据所述定时查询请求从所述 进度数据库获取所述导入进度参数, 并根据所述导入进度参数获得导入进度返回至所述客 户端; 反馈模块, 用于导入完成后, 根据接收到的所述客户端发送的导入结果获取请求, 获得 导入结果并发送至所述 客户端。 9.一种计算机设备, 包括存储器和处理器, 所述存储器中存储有计算机可读指令, 所述 处理器执行所述计算机可读指令时实现如权利要求1至7中任一项所述的基于定时轮询的 批量数据导入方法的步骤。 10.一种计算机可读存储介质, 其特征在于, 所述计算机可读存储介质上存储有计算机 可读指令, 所述计算机可读指 令被处理器执行时实现如权利要求 1至7中任一项 所述的基于 定时轮询的批量数据导入方法的步骤。权 利 要 求 书 2/2 页 3 CN 115203304 A 3

PDF文档 专利 一种基于定时轮询的批量数据导入方法及相关设备

文档预览
中文文档 16 页 50 下载 1000 浏览 0 评论 0 收藏 3.0分
温馨提示:本文档共16页,可预览 3 页,如浏览全部内容或当前文档出现乱码,可开通会员下载原始文档
专利 一种基于定时轮询的批量数据导入方法及相关设备 第 1 页 专利 一种基于定时轮询的批量数据导入方法及相关设备 第 2 页 专利 一种基于定时轮询的批量数据导入方法及相关设备 第 3 页
下载文档到电脑,方便使用
本文档由 SC 于 2024-02-24 01:02:06上传分享
友情链接
站内资源均来自网友分享或网络收集整理,若无意中侵犯到您的权利,敬请联系我们微信(点击查看客服),我们将及时删除相关资源。