(19)国家知识产权局 (12)发明 专利 (10)授权公告 号 (45)授权公告日 (21)申请 号 202210568296.1 (22)申请日 2022.05.24 (65)同一申请的已公布的文献号 申请公布号 CN 114661563 A (43)申请公布日 2022.06.24 (73)专利权人 恒生电子股份有限公司 地址 310053 浙江省杭州市滨江区江南大 道3588号恒生大厦1 1楼 (72)发明人 李森　秦元　张绍震　钱山　刘芃　 (74)专利代理 机构 北京智信禾专利代理有限公 司 11637 专利代理师 李琪 (51)Int.Cl. G06F 11/30(2006.01) G06F 9/445(2018.01)G06F 16/22(2019.01) G06F 16/2455(2019.01) (56)对比文件 CN 10934 4170 A,2019.02.15 CN 110659307 A,2020.01.07 US 201913 0004 A1,2019.0 5.02 审查员 李中兴 (54)发明名称 基于流处理框架的数据处 理方法以及系统 (57)摘要 本说明书实施例提供基于流处理框架的数 据处理方法以及装置， 其中所述基于流处理框架 的数据处理方法包括： 接收所述流处理框架的任 务数据流； 确定所述任务数据流对应的监控任务 流， 其中， 所述监控任务流中携带有至少一个监 控任务因子； 基于所述至少一个监控任务因子， 根据所述任务数据流中的参数信息确定目标数 据， 能够实现在任务数据流正常处理的前提下， 仅需要实时确定任务数据流对应的监控任务流， 就能根据监控任务流对任务数据流进行监控处 理， 不仅流处理框架无需消耗大量的时间和资 源， 也能够保障对任务数据流的监控任务处理的 实时性。 权利要求书2页 说明书15页 附图7页 CN 114661563 B 2022.10.04 CN 114661563 B 1.一种基于Fl ink流处理框架的数据处 理方法， 其特 征在于， 包括： 接收所述Fl ink流处理框架的任务数据流； 确定所述任务数据流对应的监控任务流， 其中， 所述监控任务流中携带有至少一个监 控任务因子， 所述至少一个监控 任务因子包括目标窗口分组字段、 目标窗口长度； 基于所述目标窗口分组字段以及所述目标窗口长度， 确定所述任务数据流中的每条记 录数据对应的关键值信息； 基于所述每条记录数据对应的关键值信 息， 对所述任务数据流中的所有记录数据进行 分区处理， 确定所述任务数据流对应的至少一个分区记录数据; 根据所述任务数据流中的参数信息， 从每 个分区记录数据中确定目标分区数据； 基于所述至少一个监控任务因子 中携带的目标聚合运算类型， 对所述目标分区数据进 行聚合处理， 获得每个 分区记录数据对应的目标聚合数据， 其中， 所述目标聚合运算类型根 据动态修改的监控 任务流获得。 2.根据权利要求1所述的方法， 其特征在于， 所述确定所述任务数据流对应的监控任务 流， 包括： 在数据库的规则存储表中加载所述任务数据流对应的历史全量任务规则， 其中， 所述 数据库与所述流处理框架相连接； 基于所述数据库的增量日志数据， 确定所述任务数据流对应的增量任务 规则； 基于所述历史全量任务规则以及所述增量任务规则， 确定所述任务数据流对应的监控 任务流。 3.根据权利要求2所述的方法， 其特征在于， 所述基于所述历史全量任务规则以及所述 增量任务 规则， 确定所述任务数据流对应的监控 任务流， 包括： 基于所述历史全量任务规则以及所述增量任务规则， 确定所述任务数据流对应的目标 窗口分组字段、 目标窗口长度以及目标聚合 运算类型； 将所述目标窗口分组字段、 所述目标窗口长度以及所述目标聚合运算类型， 确定为所 述监控任务流中携带的至少一个监控 任务因子； 其中， 所述 监控任务流为所述任务数据流对应的动态监控规则流。 4.根据权利要求3所述的方法， 其特征在于， 所述基于所述历史全量任务规则以及所述 增量任务 规则， 确定所述任务数据流对应的监控 任务流之后， 还 包括： 将所述增量任务 规则缓存至所述数据库的规则存 储表中。 5.根据权利要求1所述的方法， 其特征在于， 所述基于所述至少一个监控任务因子， 对 所述任务数据流中的记录数据进 行分区处理， 确定所述任务数据流对应的至少一个分区记 录数据之前， 还 包括： 通过广播通道， 将携带有至少一个监控任务因子的监控任务流与所述任务数据流执行 连接操作。 6.一种基于Fl ink流处理框架的数据处 理装置， 其特 征在于， 包括： 数据流接收模块， 被 配置为接收所述Fl ink流处理框架的任务数据流； 任务流确定模块， 被配置为确定所述任务数据流对应的监控任务流， 其中， 所述监控任 务流中携带有至少一个监控任务因子,所述至少一个监控任务因子包括目标窗口分组字 段、 目标窗口长度；权　利　要　求　书 1/2 页 2 CN 114661563 B 2目标数据确定模块， 被配置为基于所述目标窗口分组字段以及所述目标窗口长度， 确 定所述任务数据流中的每条记录数据对应的关键值信息； 基于所述每条记录数据对应的关 键值信息， 对所述任务数据流中的所有记录数据进行分区处理， 确定所述任务数据流对应 的至少一个分区记录数据； 根据所述任务数据流中的参数信息， 从每个分区记录数据中确 定目标分区数据； 数据聚合模块， 被配置为基于所述至少一个监控任务因子中携带的目标聚合运算类 型， 对所述目标分区数据进行聚合处理， 获得每个分区记录数据对应的目标聚合数据， 其 中， 所述目标聚合 运算类型根据动态修改的监控 任务流获得。 7.一种基于Flink流处理框架的数据处理系统， 其特征在于， 包括数据分区模块以及数 据聚合模块； 所述数据分区模块， 被配置为接收所述Flink流处理框架的任务数据流， 并确定所述任 务数据流对应的监控任务流， 其中， 所述监控任务流中携带有至少一个监控任务因子， 所述 至少一个监控任务因子包括 目标窗口分组字段、 目标窗口长度;基于所述 目标窗口分组字 段以及所述 目标窗口长度， 确定所述任务数据流中的每条记录数据对应的关键值信息； 基 于所述每条记录数据对应的关键值信息， 对所述任务数据流中的所有记录数据进 行分区处 理， 确定所述任务数据流对应的至少一个分区记录数据， 并根据所述任务数据流中的参数 信息， 从每 个分区记录数据中确定目标分区数据； 所述数据聚合模块， 被配置为基于所述至少一个监控任务因子中携带的目标聚合运算 类型， 对所述目标分区数据进 行聚合处理， 获得每个 分区记录数据对应的目标聚合数据， 其 中， 所述目标聚合 运算类型根据动态修改的监控 任务流获得。 8.一种计算设备， 其特 征在于， 包括： 存储器和处 理器； 所述存储器用于存储计算机可执行指令， 所述处理器用于执行所述计算机可执行指 令， 该计算机可执行指令被处理器执行时实现权利要求1至5任意一项所述基于Flink流处 理框架的数据处 理方法的步骤。 9.一种计算机可读存储介质， 其特征在于， 其存储有计算机可执行指令， 该计算机可执 行指令被处理器执行时实现权利要求 1至5任意一项 所述基于Flink流处理框架的数据处理 方法的步骤。权　利　要　求　书 2/2 页 3 CN 114661563 B 3