(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210787485.8 (22)申请日 2022.07.04 (71)申请人 苏州瑞泰信息技 术有限公司 地址 215011 江苏省苏州市高新区竹园路 209号3号楼13 03 (72)发明人 单建炜　 (74)专利代理 机构 武汉菲翔 知识产权代理有限 公司 42284 专利代理师 程小娟 (51)Int.Cl. G06F 16/18(2019.01) G06F 16/22(2019.01) G06F 16/25(2019.01) G06F 16/28(2019.01) G06F 9/455(2006.01) (54)发明名称 一种基于大数据框架的日志数据处 理系统 (57)摘要 本发明公开了一种基于大数据框架的日志 数据处理系统， 涉及日志数据处理技术领域， 包 括数据收集模块、 数据处理模块、 数据存储模块、 应用调度模 块、 Docker容器引擎和分布式应用程 序协调服务； 所述数据收集模块， 用于进行日志 自动化收集的工作； 所述数据处理模块， 用于自 定义数据处理逻辑， 使用大数据数据处理技术， 将数据由原始数据处理为可分析的数据； 所述数 据存储模块， 用于源数据存储以及数据清洗后分 析型数据存储， 本发明的有益效果为： 自动收集 产品各个 租户环境的日志数据， 提升日志收集效 率， 使用大数据处理引擎及存储技术， 提升日志 数据处理及分析的性能， 提供任务调度配置， 提 高日志数据处 理流程的灵活性和便利性。 权利要求书1页 说明书3页 附图3页 CN 115129681 A 2022.09.30 CN 115129681 A 1.一种基于大数据框架的日志数据处理系统， 其特征在于： 包括数据收集模块(1)、 数 据处理模块(2)、 数据存储模块(3)、 应用调度模块(4)、 Docker容器引擎(5)和分布式应用程 序协调服 务(6)； 所述数据收集模块(1)， 用于进行日志自动化收集的工作； 所述数据处理模块(2)， 用于自定义数据处理逻辑， 使用大数据数据处理技术， 将数据 由原始数据处 理为可分析的数据； 所述数据存 储模块(3)， 用于源数据存 储以及数据清洗后分析 型数据存储； 所述应用调度模块(4)， 用于对整个数据处 理过程进行定时或按需的执 行调度； 所述Docker容器引擎(5)， 用于提供容器化 技术， 方便平台快速 部署与组件 扩展； 所述分布式应用程序协调服 务(6)， 用于提供基础服 务支持。 2.根据权利要求1所述的一种基于大数据框架的日志数据处理系统， 其特征在于： 所述 数据收集模块(1)包括ETL工具(7)、 日志收集工具(8)和开源数据收集引擎(9)； 所述ETL工具(7)， 用于提供 大数据收集、 处 理、 转换的可调度技 术； 所述日志收集工具(8)， 用于 部署于待监控的机器， 监控并收集指定日志文件； 所述开源数据收集引擎(9)， 用于接收处理日志收集工具(8)的日志消息， 部署于日志 收集后存 储的机器。 3.根据权利要求1所述的一种基于大数据框架的日志数据处理系统， 其特征在于： 所述 数据处理模块(2)包括大 数据处理引擎(10)； 所述大数据处理引擎(10)， 用于基于内存的快速、 通用、 可扩展的大 数据分析计算。 4.根据权利要求1所述的一种基于大数据框架的日志数据处理系统， 其特征在于： 所述 数据存储模块(3)包括 开源关系数据库(1 1)和列式存 储数据库(12)； 所述开源关系数据库(1 1)， 用于超大规模的数据存 储； 所述列式存 储数据库(12)， 用于大规模分析 型数据存储。 5.根据权利要求1所述的一种基于大数据框架的日志数据处理系统， 其特征在于： 所述 应用调度模块(4)包括 开源调度平台(13)； 所述开源调度平台(13)， 用于流 程处理任务的整体调度。权　利　要　求　书 1/1 页 2 CN 115129681 A 2一种基于大数据框架的日志数据处理系统 技术领域 [0001]本发明涉及日志数据处理技术领域， 具体为一种基于大数据框架的日志数据处理 系统。 背景技术 [0002]随着互联网技术的不断发展， 互联网大数据的趋势日益显著。 互联网产品的技术 架构设计往往需要借助于分布式部署技术以实现服务及基础能力的横向扩展。 分布式部署 则会产生更多的服务器资源， 网络设备资源。 产品运营人员和IT运维人员需要通过产品运 行日志和系统日志 来监控系统的运行情况。 日志审计平台将提供日志分析和日志收集的能 力。 产品设计开发中一般会开发自有的运维工具或日志审计工具。 通过系统自带 的运维命 令、 开发日志记录服务记录系统运行日志。 将日志记录存储于数据库或服务器文件系统中， 再通过开 发日志收集程序读取各个服务器中的数据库或文件系统， 写入统一管理的日志数 据库中。 基于日志数据库搭建日志审 计平台， 提供日志 查询、 异常监控、 运行分析、 安全审 计 等相应的功能。 [0003]不同的产品应用或者系统组件产生的日志格式与内容差异较大， 数据清洗过程效 率不高。 随着业务的扩展， 基于单一关系型数据库的日志数据的存储和分析， 无法满足不同 数据类型且大 数据量的数据存 储需求。 日志处 理流程固化， 无法自定义调整。 发明内容 [0004]针对现有技术的不足， 本发明提供了一种基于大数据框架的日志数据处理系统， 解决了上述背景技 术中提出的问题。 [0005]为实现以上目的， 本发明通过以下技术方案予以实现： 一种基于大数据框架的日 志数据处理系统， 包括数据收集模块、 数据处理模块、 数据存储模块、 应用调度模块、 Docker 容器引擎和分布式应用程序协调服 务； [0006]所述数据收集模块， 用于进行日志自动化收集的工作； [0007]所述数据处理模块， 用于自定义数据处理逻辑， 使用大数据数据处理技术， 将数据 由原始数据处 理为可分析的数据； [0008]所述数据存 储模块， 用于源数据存 储以及数据清洗后分析 型数据存储； [0009]所述应用调度模块， 用于对整个数据处 理过程进行定时或按需的执 行调度； [0010]所述Docker容器引擎， 用于提供容器化 技术， 方便平台快速 部署与组件 扩展； [0011]所述分布式应用程序协调服 务， 用于提供基础服 务支持。 [0012]可选的， 所述数据收集模块包括ETL工具、 日志收集工具和开源数据收集引擎； [0013]所述ETL工具， 用于提供大数据收集、 处理、 转换的可调度技术， 任务将各个租户系 统中的日志数据自动收集， 并汇总到开源关系数据库中； [0014]所述日志收集工具， 用于部署于待监控的机器， 监控并收集指定日志文件； 日志收 集工具和开源数据收集引擎能够自动收集日志数据到各自租户的数据库中。说　明　书 1/3 页 3 CN 115129681 A 3