(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210873540.5 (22)申请日 2022.07.22 (71)申请人 中国平安财产保险股份有限公司 地址 518000 广东省深圳市福田区益田路 5033号平安金融中心12、 13、 38、 39、 40 层 (72)发明人 解培佩　 (74)专利代理 机构 深圳国新 南方知识产权代理 有限公司 4 4374 专利代理师 张曾明 (51)Int.Cl. G06F 16/25(2019.01) G06F 16/28(2019.01) G06F 16/2455(2019.01) G06F 16/215(2019.01) (54)发明名称 基于Flink的实时报表生成方法与系统 (57)摘要 本申请属于大数据实时计算技术领域， 涉及 一种基于Flink的实时报表生成方法， 包括： 当 Flink作业产生的实时数据流时， 传输实时数据 流至Kafka业务系统； 将Kafka业务系统接收 的实 时数据流写入Kafka业务系统的磁盘结构； 通过 ETL提取磁盘结构中的实时数据流到临时中间层 进行转换处理， 产生实时清单数据； 发送实时清 单数据至Druid数据库； 当检测到数据查询操作 时， 识别数据查询操作的类型， 根据确定的数据 查询操作的类型产生对应的操作指令， 根据操作 指令提取Druid数据库中的Druid引擎生成实时 报表； 推送实时报表至前端平台。 本申请还提供 一种基于Flink的实时报表生成系统、 计算机设 备及其存 储介质。 权利要求书2页 说明书10页 附图3页 CN 115168472 A 2022.10.11 CN 115168472 A 1.一种基于Fl ink的实时报表生成方法， 其特 征在于， 所述方法包括下述 步骤： 当Flink作业产生的实时数据流时， 传输实时数据流至Kafka业 务系统； 将Kafka业 务系统接收的实时数据流写入Kafka业 务系统的磁 盘结构中； 通过ETL提取磁盘结构中的实时数据流到临时中间层进行转换处理， 并产生实时清单 数据； 发送实时清单 数据至Druid数据库； 当检测到数据查询操作时， 识别数据查询操作的类型， 根据确定的数据查询操作的类 型产生对应的操作指令， 根据操作指令提取Druid数据库中的Druid引擎 生成实时报表； 推送实时报表至前端平台。 2.根据权利 要求1所述的基于Flink的实时报表生成方法， 其特征在于， 所述通过ETL提 取磁盘结构中的实时数据流到临时中间层进行转换处理， 并产生实时清单数据的步骤之 后， 所述方法还 包括： 将实时清单 数据通过 Flume数据管道传输 至hive数据仓库进行存 储备份； 当Flink作业时发生故障时， 通过hive工具查询hive数据仓库 中备份的实时清单数据 与Kafka业 务系统产生的实时清单 数据中的不同， 并获取目标清单 数据； 回补目标清单 数据至Druid数据库中。 3.根据权利要求2所述的基于Flink的实时报表生成方法， 其特征在于， 所述将实时清 单数据通过 Flume数据管道传输 至hive数据仓库进行存 储备份的步骤 包括： 接收实时清单 数据， 并将接收的实时清单 数据以Flume传输一个或多个铺道引导； 存储Flume传输后的实时清单 数据值hive 数据仓库。 4.根据权利 要求3所述的基于Flink的实时报表生成方法， 其特征在于， 所述通过ETL提 取磁盘结构中的实时数据流到临时中间层进行转换处理， 并产生实时清单数据的步骤包 括： 通过ETL将Kafka业务系统接收的实时数据流抽取至临时中间层， 并对临时中间层中的 实时数据进行清洗、 转换、 集成后， 产生标准格式的实时清单 数据； 传输实时清单 数据至Kafka业 务系统中。 5.根据权利要求1所述的基于Flink的实时报表生成方法， 其特征在于， 所述推送实时 报表至前端平台的步骤 包括： 设置实时报表的指标列、 时间列以及维度列； 将实时报表以指标列或时间列或维度列的逻辑 集合推送至前端平台。 6.根据权利要求5所述的基于Flink的实时报表生成方法， 其特征在于， 所述推送实时 报表至前端平台的步骤之后， 所述方法还 包括： 当前端平台的预设标识产生托或拉或拽等动态动作时， 获取实时报表的指标列或时间 列或维度列。 7.根据权利要求2所述的基于Flink的实时报表生成方法， 其特征在于， 所述推送实时 报表至前端平台的步骤之后， 所述方法还 包括： 当前端平台根据实时报表产生的实时内容不符合数据查询 操作对应的目标内容时， 通 过hive工具获取hive数据仓库存储的预存清单数据， 对比预存清单数据以及Druid数据库 中获取的实时清单 数据， 定位Druid数据库中的目标故障位置；权　利　要　求　书 1/2 页 2 CN 115168472 A 2提取Druid数据库中目标故障位置处的目标故障数据， 以及hive数据仓库中目标故障 位置对应位置处的目标清单 数据； 将目标清单 数据替换为目标故障数据， 并回补至Druid数据库中目标故障位置处； 当前端平台根据实时报表产生的实时内容符合数据查询操作对应的目标内容 时， 更新 hive数据仓库中存 储的预存清单 数据。 8.一种基于Fl ink的实时报表生成系统， 其特 征在于， 所述系统包括： 传输模块， 用于当Fl ink作业产生的实时数据流时， 传输实时数据流至Kafka业 务系统； 处理模块， 用于将Kafka业务系统接收的实时数据流写入Kafka业务系统的磁盘结构 中， 通过ETL提取磁盘结构中的实时数据流到临 时中间层 进行转换处理， 并产生 实时清单数 据； 发送模块， 用于发送实时清单 数据至Druid数据库； 提取模块， 用于当检测到数据查询操作时， 识别数据查询操作的类型， 根据确定的数据 查询操作的类型产生对应的操作指令， 根据操作指令提取Druid数据库中的Druid引擎生 成 实时报表； 推送模块， 用于推送实时报表至前端平台。 9.一种计算机设备， 其特征在于， 包括存储器和处理器， 所述存储器中存储有计算机可 读指令， 所述处理器执行所述计算机可读指 令时实现如权利要求 1至7中任一项 所述的基于 Flink的实时报表生成方法的步骤。 10.一种计算机可读存储介质， 其特征在于， 所述计算机可读存储介质上存储有计算机 可读指令， 所述计算机可读指 令被处理器执行时实现如权利要求 1至7中任一项 所述的基于 Flink的实时报表生成方法的步骤。权　利　要　求　书 2/2 页 3 CN 115168472 A 3