(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211200038.4 (22)申请日 2022.09.29 (71)申请人 深圳依时货拉 拉科技有限公司 地址 518000 广东省深圳市福田区梅林街 道梅丰社区梅华路105号多丽工业区 科技楼3层3 07 (72)发明人 李光云　尚珊珊　 (74)专利代理 机构 深圳瑞天谨诚知识产权代理 有限公司 4 4340 专利代理师 温青玲 (51)Int.Cl. G06F 16/242(2019.01) G06F 16/215(2019.01) G06Q 40/02(2012.01) (54)发明名称 一种大数据处理平台 (57)摘要 本发明公开了大数据处理平台， 包括WEB服 务层， 用于提供规则模型定义， 并用于告警管理 以及展示质检结果； 后台服务层， 用于通过规则 模型解析为具体结构化查询语言， 生成规则实例 任务并提交执行， 并用于实现多级告警和任务熔 断； 计算层； 数据存储层， 用于存储所述大数据处 理平台的业务信息和系统配置信息。 本发明的大 数据处理平台独立部署， 并对外提供服务， 用户 通过WEB页面简单配置操作就可以对每天产生的 数据进行质量检测， 具有较好的实时性， 对第三 方产品依赖性低。 权利要求书1页 说明书4页 附图4页 CN 115481139 A 2022.12.16 CN 115481139 A 1.一种大 数据处理平台， 其特 征在于， 包括： WEB服务层， 用于提供规则模型定义， 并用于告警管理以及展示质检结果； 后台服务层， 用于通过规则模型解析为具体结构化查询语言， 生成规则实例任务并提 交执行， 并用于实现多 级告警和任务熔断； 计算层； 数据存储层， 用于存 储所述大 数据处理平台的业 务信息和系统配置信息 。 2.根据权利要求1所述的一种大数据处理平台， 其特征在于， 所述WEB服务层用于通过 WEB页面接收用户的配置操作指令， 所述规则模型定义包括模版规则模型和自定义sql模 型。 3.根据权利要求2所述的大数据处理平台， 其特征在于， 所述后台服务层包括API服务 层、 核心服 务层和数据库。 4.根据权利要求3所述的大数据处理平台， 其特征在于， 所述核心服务层包括实例生成 模块、 调度执 行模块、 恢复模块、 日志服 务模块。 5.根据权利要求4所述的大数据处理平台， 其特征在于， 所述API服务层通过手动 触发、 定时调度、 调度系统触发提交质量检测到所述核心服 务层。 6.根据权利要求4或5所述的大数据处理平台， 其特征在于， 所述实例生成模块负责表 实例和规则实例生成并持久化到所述数据库。 7.根据权利要求6所述的大数据处理平台， 其特征在于， 所述实例生成模块生成的表实 例和规则实例提交到所述调度执 行模块。 8.根据权利要求7所述的大数据处理平台， 其特征在于， 所述调度 执行模块负责创建执 行线程执 行规则实例， 并驱动所述数据库的表实例状态扭转。 9.根据权利要求8所述的大数据处理平台， 其特征在于， 所述调度 执行模块同时启用日 志线程， 异步记录规则实例执 行日志。 10.根据权利要求9所述的大数据处理平台， 其特征在于， 所述恢复模块在所述大数据 处理平台重启时被调用， 查询数据库 表中状态为特定的规则实例并提交至所述调度执行模 块。权　利　要　求　书 1/1 页 2 CN 115481139 A 2一种大数据处理平台 技术领域 [0001]本发明涉及互联网大 数据技术领域， 特别是 涉及一种大 数据处理平台。 背景技术 [0002]现有的Apache  Griffin是一个应用于分布式数据系统中的开源数据质量解决方 案。 在Hadoop、 Spark、 Stom等分布式系统中， 提供了一整套统一的流程来定义和检测数据集 的质量并及时报告问题。 [0003]Qualitis是微众银行开源的一款数据质量管理系统， 用于解决业务系统运行、 数 据中心建 设及数据治理过程中的各种数据质量问题。 [0004]DataWorks是阿里云集成于云上的一套数据质量解决方案， 支持多种异构数据源 的质量校验， 通知 及管理服 务。 [0005]这些数据质量 解决方案具有以下优缺 点： [0006]1.Apache  Griffin是一个完全闭环的平台化产品， 其质检任务的执行依赖于内置 定时调度器的调度， 调度执行时间由用户在U  I上设定。 任务将通过Apache  Livy组件提交 至配置的Spar k集群。 这也就意味着质检的实时性难以保障， 我们无法对产出异常数据的任 务进行强行阻断， 二者不是在同一个调 度平台被调 度， 时序上也不能保持串行； 依赖第三方 组件需投入大量人力运维， 产品及组件升级比较难维护。 [0007]2.Qualitis它提供了一整套统一流程来定义和检测数据集数据质量问题并及时 阻断， 它是基于其开源的另 一款组件Linkis进行计算任务的代理分发， 底层依赖Spark引 擎， 同时可以与其开源的DataSphereStudio任务开发平台无缝衔接， 也就实现了在任务执 行的工作流中嵌入质检任务， 满足质检时效性的要求。 可见， Qualitis需要 借助微众银行开 源的一系列产品才能达到满意的效果， 严重依赖第三方产品， 不能独立部署， 不能根据公司 业务数据及现有产品来做到 定制化开发。 [0008]3.DataWorks是阿里云上提供的一站式大数据工场， 其中就包括了数据质量在内 的产品解决方案 。 同样， 它的实现依赖 于阿里云上其 他产品组件的支持。 发明内容 [0009]本发明针对现有技术数据质量解决方案， 实时性难以保障， 或需依赖第三方产品， 不能独立部署的技 术问题， 提出以下技 术方案。 [0010]本发明采用的一种技 术方案是： [0011]一种大数据处理平台， 包括： [0012]WEB服务层， 用于提供规则模型定义， 并用于告警管理以及展示质检结果； [0013]后台服务层， 用于通过规则模型解析为具体结构化查询语言， 生成规则实例任务 并提交执 行， 并用于实现多 级告警和任务熔断； [0014]计算层； [0015]数据存储层， 用于存 储所述大 数据处理平台的业 务信息和系统配置信息 。说　明　书 1/4 页 3 CN 115481139 A 3