(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210750399.X (22)申请日 2022.06.29 (71)申请人 中信百信银行股份有限公司 地址 100029 北京市朝阳区安定路5号院3 号楼8层 (72)发明人 张振辉　 (74)专利代理 机构 北京市兰台律师事务所 11354 专利代理师 操飞越　张峰 (51)Int.Cl. G06F 16/215(2019.01) G06F 16/23(2019.01) G06F 16/242(2019.01) (54)发明名称 一种基于内存计算的流式数据处理方法及 系统 (57)摘要 本发明涉及一种基于内存计算的流式数据 处理方法及系统， 包括从数据库中读取交易流水 数据； 将所述交易流水数据保留关键字段信息生 成交易流水文件存入本地； 获取所述交易流水文 件； 利用内存对所述交易流水文件进行计算处 理， 生成账务流水文件存入本地并进行实时更 新； 获取所述账务流水文件， 批量写入数据库中。 通过独立出交互数据库获取数据的操作， 提高内 存使用率， 使内存的使用实现单一化和标准化。 将远端数据库中的交易流水加载到本地文件的 过程， 其目的在于加工阶段前完成数据准备， 实 现本地提供所需数据。 故加工阶段不涉及对数据 库的过量读取操作， 直接通过流模式读取本地文 件即可， 进而解决由于多类型操作导致的内存占 用问题。 权利要求书1页 说明书5页 附图1页 CN 115048369 A 2022.09.13 CN 115048369 A 1.一种基于内存计算的流式数据处理方法， 所述方法用于账务系统， 其特征在于， 包 括： 从数据库中读取交易 流水数据； 将所述交易 流水数据保留关键 字段信息生成交易 流水文件 存入本地； 获取所述交易 流水文件； 利用内存对所述交易流水文件进行计算处理， 生成账务流水文件存入本地并进行实时 更新； 获取所述账务 流水文件， 批量写入数据库中。 2.如权利要求1所述的方法， 其特征在于， 所述从数据库中读取交易流水包括， 采用责 任链模式， 所述交易流水数据通过滤链进 行传递， 所述过滤链至少为一条， 当所述过滤链 为 两条及两条以上时， 所述过 滤链独立可拆分且互不干扰。 3.如权利要求2所述的方法， 其特征在于， 所述方法包括对所述交易流水数据进行数据 清洗， 包括删除重复项、 查找 缺失值、 查找是否有字符型数字并转换为数字型和进 行一致化 处理。 4.如权利要求3所述的方法， 其特征在于， 所述关键字段信息包括： 卡号、 交易金额、 交 易类型、 流水号、 终端流水号和交易行编号。 5.一种基于内存计算的流式数据处 理系统， 其特 征在于， 包括： 第一获取模块， 用于从数据库中读取交易 流水数据； 生成模块， 用于将所述交易 流水数据保留关键 字段信息生成交易 流水文件 存入本地； 第二获取模块， 用于获取 所述交易 流水文件； 第一处理模块， 用于利用内存对所述交易流水文件进行计算处理， 生成账务流水文件 存入本地并进行实时更新； 第二处理模块， 用于获取 所述账务 流水文件， 批量写入数据库中。 6.一种计算机可读存储介质， 其特征在于， 所述存储介质上存储有计算机程序， 所述计 算机程序被处 理器执行时实现权利要求1至4中任一项所述的方法。 7.一种计算机设备， 包括存储器、 处理器及存储在存储器上并可在处理器上运行的计 算机程序， 其特 征在于， 所述处 理器执行所述计算机程序时实现权利要求1至4所述方法。 8.一种计算机程序产品， 包括计算机程序和/或指令， 其特征在于， 该计算机程序和/或 指令被处 理器执行时实现权利要求1至4中任一项所述方法的步骤。权　利　要　求　书 1/1 页 2 CN 115048369 A 2一种基于内存 计算的流式数据处理 方法及系统 技术领域 [0001]本发明涉及数据处理技术领域， 尤其涉及 一种基于内存计算的流式数据处理方法 及系统。 背景技术 [0002]用户在银行进行各类金融交易， 交易流水数据 会被持久化进MYS QL数据库中。 T日， 银行账务系统将会在规定时间内结算T ‑1日的交易数据流水， 将用户交易流水转化为银行 账务流水。 目前， 转化流程分为两个阶段， 分别是： 加工阶段和输出阶段。 加工阶段中糅杂了 从数据库读取对应多个单表数据和批量数据的计算加工两种耗费内存操作。 并且， 由于加 工操作依赖数据库响应的返回结果， 进而造成频繁交互数据库， 增加数据库压力的同时， 内 存计算压力也 随之升高。 内存的压力能够直接决定数据库能否高效的运行， 也会直接影响 到存储的性能和 CPU计算数据的效率。 因此， 当需要获取大量数据支撑时， 会有数据库锁等 待超时， 连接池打满， 或者无法 响应继而无法获取 数据等情况 出现。 [0003]目前， 账务系统的业务是基于传统关系型数据库。 而本地文件相对于数据库的数 据处理和读写速度快近10倍， 且由于现有逻辑中数据获取与数据加工同时进行， 增大内存 压力的同时， 也增加CPU的负荷。 当日交易数据量超过一定阈值， 每加工完一笔 交易流水， 会 直接影响整体系统性能， 当数据库长时间无法响应新增请求后， 会导致数据加工处理速度 减慢， 甚至停止等情况出现。 进而影响当日账务处理， 总账管理， 大数据入仓等相关业务链 路的处理进度。 发明内容 [0004]为解决现有技术的不足， 本发明提出一种基于内存计算的流式数据处理方法及系 统， 本发明通过将原有的两段式处理模型， 加工阶段和输出阶段， 转化为三段式， 即准备阶 段、 加工阶段和输出阶段。 将原有的加工阶段拆分成准备阶段和计算加工阶段。 真正做到读 写分离， 极大的提高内存的利用率， 也发掘了数据库和服务器的潜力， 提高了处理数据的吞 吐量的同时， 也做到数据的精准落库。 独立出交互数据库获取数据的操作， 提高内存使用 率， 使内存的使用实现单一化和标准化。 准备阶段即将远端数据库中的交易流水加载到本 地文件的过程， 其目的在于加工阶段前完成数据准备， 实现本地提供所需数据。 故加工阶段 不涉及对数据库的过量读取操作， 直接通过流模式读取本地文件即可， 进而解决由于多类 型操作导 致的内存占用问题。 [0005]为实现以上目的， 本发明所采用的技 术方案包括： [0006]一种基于内存计算的流式数据处 理方法， 包括： [0007]从数据库中读取交易 流水数据； [0008]将所述交易 流水数据保留关键 字段信息生成交易 流水文件 存入本地； [0009]获取所述交易 流水文件； [0010]利用内存对所述交易流水文件进行计算处理， 生成账务流水文件存入本地并进行说　明　书 1/5 页 3 CN 115048369 A 3