(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210706496.9 (22)申请日 2022.06.21 (71)申请人 上海浦东发展银行股份有限公司 地址 200002 上海市黄浦区中山 东一路12 号 (72)发明人 王钰博　徐俊霞　 (74)专利代理 机构 上海科盛知识产权代理有限 公司 312 25 专利代理师 彭瑶 (51)Int.Cl. G06F 16/2455(2019.01) G06F 16/2453(2019.01) G06F 16/25(2019.01) G06F 9/50(2006.01) (54)发明名称 一种提高spring-batch框架批处理执行效 率的方法 (57)摘要 本发明涉及一种提高spring ‑batch框架批 处理执行效率的方法， 该方法基于文件线程数据 库缓存接口， 创建线程分片文件， 随后加载分页 条数并写入， 将单独的大文件或大结果集按规则 拆分成小文件或小结果集， 供后续处理； 开发人 员利用业务reader接口， 根据业务需求编写查 询/读取逻辑， 加载待处理数据， 并将待处理数据 流转至processor层； 利用文件缓存实体接口配 置单次缓存 数， 从线程分片文件中一次性读取对 应的行数据， 并将其转换为行数据实体， 写入至 redis缓存中； 利用文件读取接口配置读取文件 的基本信息； 通过springframework的Reader接 口创建sp ring‑batch框架公共类。 与现有技术相 比， 本发明具有可大大提高批量执行效率， 降低 大数据量、 数据时效性高的业 务风险等优点。 权利要求书1页 说明书3页 附图1页 CN 115062060 A 2022.09.16 CN 115062060 A 1.一种提高spri ng‑batch框架批处 理执行效率的方法， 其特 征在于， 包括： 基于文件线程数据库缓存接口， 创建线程分片文件， 随后加载分页 条数并写入， 将单独 的大文件或大 结果集按规则拆分成小 文件或小结果 集， 供后续处 理； 利用业务reader接口， 根据业务 需求编写查询/读取逻辑， 通过文件线程数据库缓存接 口加载待处 理数据， 并将待处 理数据流 转至proces sor层； 利用文件缓存实体接口配置单次缓存数， 从线程分片文件中一次性读取对应的行数 据， 并将其 转换为行 数据实体， 写入至redis缓存中； 利用文件读取接口配置读取文件的基本信息； 通过spri ngframew ork的Reader接口创建 spring‑batch框架公共类。 2.根据权利 要求1所述的提 高spring‑batch框架批处理执行效率的方法， 其特征在于， 所述文件线程数据库缓存接口利用spri ng的TaskExecutor创建线程分片文件。 3.根据权利 要求2所述的提 高spring‑batch框架批处理执行效率的方法， 其特征在于， 所述文件线程数据库缓存接口通过batchKeyLoadPageSize参数加载分页条数并写入， 将单 独的大文件或大 结果集按规则拆分成小 文件。 4.根据权利 要求3所述的提 高spring‑batch框架批处理执行效率的方法， 其特征在于， 所述大文件为大于预设大小的文件， 所述小 文件为小于或等于预设大小的文件。 5.根据权利 要求3所述的提 高spring‑batch框架批处理执行效率的方法， 其特征在于， 所述大结果集为大于或等于预设结果集大小阈值的结果集， 则该结果集为大结果集， 所述 小结果集为小于结果 集大小阈值的结果 集。 6.根据权利 要求1所述的提 高spring‑batch框架批处理执行效率的方法， 其特征在于， 所述文件缓存实体接口提供cac heLineNum参数实现配置单次缓存数。 7.根据权利 要求6所述的提 高spring‑batch框架批处理执行效率的方法， 其特征在于， 所述文件缓存实体接口从线程分片文件中一次性读取对应的行数据， 通过tr ansform方法 转换为行 数据实体， 写入至redis缓存中。 8.根据权利 要求1所述的提 高spring‑batch框架批处理执行效率的方法， 其特征在于， 所述读取文件的基本信息包括但不限于分割符、 字符编码、 换 行符和跳过 行数。权　利　要　求　书 1/1 页 2 CN 115062060 A 2一种提高spring ‑batch框架 批处理执行效率的方 法 技术领域 [0001]本发明涉及 计算机技术领域， 尤其是涉及一种提高spring ‑batch框架批处理执行 效率的方法。 背景技术 [0002]在现代企业应用当中， 面对复杂的业务以及海量的数据， 除了通过庞杂的人机交 互界面进行各种处理外， 还有一种处理方式， 即批处理， 批处理不需要人工干预， 只需要定 期读入大批量数据， 然后完成相应业务处理并进行归档。 批处理方式作为现代企业应用当 中不可或缺的数据处 理方式， 如何高效的执 行批处理任务成为问题。 [0003]目前， 针对于分布式系统使用多线程的情况下， 现有批处理架构的处理流程是通 过reader层读取全部所需处理数据， 并生成分片线程文件， 每一条数据单独获取逐条流转 到processor层进行业务逻辑， 然后通过writer产出结果， 直到数据全部处理完成。 然而这 种方式的缺点主要是在大数据量的处理下批量执行时间较长， 资源消 耗较大， 对于时效性 较高的业 务存在一定的风险。 发明内容 [0004]本发明的目的就是为了克服上述现有技术存在的缺陷而提供一种提高spring ‑ batch框架批处理执行效率的方法， 该方法可大大提高批量执行效率， 降低大数据量、 数据 时效性高的业 务风险， 可在固定时间段承载 更多的业 务功能， 提高产能产出。 [0005]本发明的目的可以通过以下技 术方案来实现： [0006]一种提高spri ng‑batch框架批处 理执行效率的方法， 该 方法的具体内容 为： [0007]基于文件线程数据库缓存接口， 创建线程分片文件， 随后加载分页条数并写入， 将 单独的大文件或大 结果集按规则拆分成小 文件或小结果 集， 供后续处 理； [0008]开发人员利用业务reader接口， 根据业务需求编写查询/读取逻辑， 通过文件线程 数据库缓存接口加载待处 理数据， 并将待处 理数据流 转至proces sor层； [0009]利用文件缓存实体接口配置单次缓存数， 从线程分片文件中一次性读取对应的行 数据， 并将其 转换为行 数据实体， 写入至redis缓存中； [0010]利用文件读取接口配置读取文件的基本信息； [0011]通过spri ngframew ork的Reader接口创建 spring‑batch框架公共类。 [0012]进一步地， 所述读取文件的基本信息包括但不限于分割符、 字符编码、 换行符和跳 过行数。 [0013]进一步地， 所述文件线程数据库缓存接口利用spring的TaskExecutor创建线程分 片文件。 [0014]进一步地， 所述文件线程数据库缓存接口通过batchKeyLoadPageSize参数加载分 页条数并写入， 将单独的大文件或大 结果集按规则拆分成小 文件。 [0015]进一步地， 其中， 所述大文件为大于预设大小的文件， 所述小文件为小于或等于预说　明　书 1/3 页 3 CN 115062060 A 3