(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210866620.8 (22)申请日 2022.07.22 (71)申请人 国网安徽省电力有限公司铜陵供电 公司 地址 244000 安徽省铜陵市长江中路91号 申请人 上海京德电气有限公司 (72)发明人 黄道友　康健　方登洲　王坤　 刘锋　罗沙　吕孝平　刘芹　朱宁　 吴小林　韩少卫　彭涛　任寅平　 夏宗杰　苏建民　肖向虎　刘兴　 倪超　吴征　赵尚娜　 (74)专利代理 机构 上海政济知识产权代理事务 所(普通合伙) 31479 专利代理师 罗子芳(51)Int.Cl. G06F 16/2455(2019.01) G06F 16/27(2019.01) G06F 16/25(2019.01) G06F 12/0811(2016.01) G06F 9/50(2006.01) (54)发明名称 基于Redis分布式缓存的数据处 理系统 (57)摘要 本发明提供一种基于Redis分布式缓存的数 据处理系统， 包括： 多级缓存系统和Kafka分布式 消息系统； 其中， 多级缓存系统用于将数据从上 至下分级缓存， 多级缓存系统由最上级的第一级 缓存单元、 中间级的第二级缓存单元、 最下级的 第三级缓存单元组成； 第一级缓存单元为Nginx 本地缓存； 第二级缓存单元为Redi s分布式缓存； 第三级缓存单元由具体微服务所在服务器的堆 内存、 具体微服务所在服务器的硬盘及MySQL数 据库组成， MySQL数据库用于存储或备份服务器 上所有数据， 具体微服务用于协调MySQL数据库 工作。 本发明系统可适用于百亿级数据的处理， 加快数据计算。 权利要求书1页 说明书4页 附图2页 CN 115481151 A 2022.12.16 CN 115481151 A 1.一种基于Redis分布式缓存的数据处理系统， 其特征在于， 包括： 多级缓存系统和 Kafka分布式消息系统； 其中， 所述多级缓存系统用于将数据从上至下分级缓存， 所述多级缓存系统由最上级 的第一级缓存单 元、 中间级的第二级缓存单 元、 最下级的第三级缓存单 元组成； 所述第一级缓存单 元为Nginx本地缓存； 所述第二级缓存单 元为Redis 分布式缓存； 所述第三级缓存单元由具体微服务所在服务器的堆内存、 具体微服务所在服务器的硬 盘及MySQL数据库组成， 所述MySQL数据库用于存储或备份服务器上所有数据， 所述具体微 服务用于协调MySQ L数据库工作； 所述多级缓存系统作为生产者， 发送请求的客户端作为消费者， 所述生产者将消息发 布到所述Kafka分布式消息系统， 所述消费者从所述Kafka分布式消息系统订阅消息； 所述多级缓存系统中， 上级的数据缓存单元可从下级的数据缓存单元调用数据， 所述 具体微服务所在服 务器的堆内存将调用频繁的数据上传至所述Redis 分布式缓存中。 2.如权利要求1所述的基于Redis 分布式缓存的数据处 理系统， 其特 征在于： 其中， 所述 Nginx本地缓存使用Ngi nx最外层的web服 务器， 通过lua脚本语言编程。 3.如权利要求1所述的基于Redis 分布式缓存的数据处 理系统， 其特 征在于： 其中， 所述Redis分布式缓存为基于AOP切面的Redis分布式数据库， 具体通过如 下方式 实现： 所述Redis分布式缓存具有多个供具体微服务使用的接口， 采用AOP切面逻辑编写从服 务器写入Redis分布式缓存的数据代码， 将写入数据重复代码段定义为一类切面， 并在原代 码内设置相应的切点， 当多个具体微服务同时写入 数据时， 通过切点调用该段代码， 从而实 现将读/写数据与业 务数据解耦。 4.如权利要求1所述的基于Redis 分布式缓存的数据处 理系统， 其特 征在于： 其中， 当外部响应到达网关时通过具体微服务判断该响应数据的存储位置， 判断规则 为： 若响应数据存储在所述Redis分布式缓存中， 则响应速度高于读取内存速度； 若响应数 据未存储在所述Redis 分布式缓存中， 则响应速度不会高于读取内存速度。 5.如权利要求1所述的基于Redis 分布式缓存的数据处 理系统， 其特 征在于： 其中， 当响应数据在所述第一级缓存单元、 所述第二级缓存单元以及所述第三级缓存 单元的堆内存和硬 盘均查询不到时， 所述具体微 服务从所述MySQ L数据库调用数据。权　利　要　求　书 1/1 页 2 CN 115481151 A 2基于Redis分布式缓存的数据处理系统 技术领域 [0001]本发明涉及大数据处理技术领域， 特别涉及一种基于Redis分布式缓存的数据处 理系统。 背景技术 [0002]目前对于提升大数据处理速度已有较多的研究， 这些研究从框架算法设计、 分布 式计算、 算法优化等几个方面进行了有益的探讨。 以下为针对大数据 处理各方面问题的典 型处理方法： (1)为了解决大量重复数据导致MapReduce的混淆消耗过大及网络传输拥堵的 问题， 通过相似 连接算法Q ‑sample， 将其子串分割以减少过滤阶段的子串数量， 从而减少网 络传输数量， 进而减少相似连接所耗费的时间。 (2)为了解决大规模数据计算问题， 提出了 分块算法。 分割数据流转换为固定大小的块， 通过MD5算法生成散列值， 然后由Map ‑Reduce 模型用于识别重复项。 (3)为了解决大数据处理算法计算速度过慢的问题， 在计算模式上， 分别将数据并行、 模型并行两种计算模式应用在了深度学习 上， 让深度学习模型可以部署 在计算集群上来进行训练。 [0003]以上研究虽提升了大数据的计算速度， 但对于解决百亿级的数据读写缓慢以及便 于读写程序扩展与修改的研究尚且不 足。 虽然对于提高多个具体微服务并列运行数据流的 传输速度进 行了有效的改进， 但由于百亿级的数据量大， 系统代码量大， 在修改代码时难以 修改与扩展的问题并没有解决， 对于系统重复代码以及代码解耦的研究不足。 发明内容 [0004]本发明旨在提供一种基于Redis分布式缓存的数据处理系统， 以针对解决如上百 亿行级别的缓存数据计算速度慢的问题， 为 提高大数据计算的速度以及方便扩展问题。 [0005]为实现达 到上述目的， 本发明采用如下技 术方案： [0006]本发明提供一种基于Redis分布式缓存的数据处理系统， 其特征在于， 包括： 多级 缓存系统和Kafka分布式消息系统； 其中， 多级缓存系统用于将数据从上至下分级缓存， 多 级缓存系统由最上级的第一级缓存单元、 中间级的第二级缓存单元、 最下级的第三级缓存 单元组成； 第一级缓存 单元为Nginx本地 缓存； 第二级缓存 单元为Redis分布式缓存； 第三级 缓存单元由具体微服务所在服务器的堆内存、 具体微服务所在服务器的硬盘及MySQL数据 库组成， MySQL数据库用于存储或备份服务器上所有数据， 具体微服务用于协调MySQL数据 库工作； 多级缓存系统作为生产者， 发送请求的客户端作为消费者， 生产者将消息发布到 Kafka分布式消息系统， 消费者 从Kafka分布式消息系统订阅消息； 多级缓存系统中， 上级的 数据缓存单元可从下级的数据缓存单元调用数据， 具体微服务所在服务器的堆内存将调用 频繁的数据上传至Redis 分布式缓存中。 [0007]进一步， 在本 发明提供的基于Redis分布式缓存的数据处理系统中， 还可以具有这 样的特征： 其中， Ngi nx本地缓存使用Ngi nx最外层的web服 务器， 通过lua脚本语言编程。 [0008]进一步， 在本 发明提供的基于Redis分布式缓存的数据处理系统中， 还可以具有这说　明　书 1/4 页 3 CN 115481151 A 3