(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210572928.1 (22)申请日 2022.05.24 (71)申请人 中国平安财产保险股份有限公司 地址 518000 广东省深圳市福田街道益田 路5033号平安金融中心12、 13、 38、 39、 40、 62层 (72)发明人 于哲敏　 (74)专利代理 机构 深圳市沃德知识产权代理事 务所(普通 合伙) 44347 专利代理师 高杰　于志光 (51)Int.Cl. G06F 8/20(2018.01) G06F 9/54(2006.01) G06F 16/215(2019.01) G06F 16/23(2019.01)G06F 16/242(2019.01) G06F 16/25(2019.01) (54)发明名称 流数据分析方法、 装置、 设备及存 储介质 (57)摘要 本发明涉及人工智能领域， 揭露一种流数据 分析方法， 包括： 实时从源数据库中获取流数据， 并利用预设的消息过滤器对流数据进行过滤， 得 到过滤流数据； 按照预设的数据维度表将过滤流 数据中具有相同维度信息的数据进行关联， 得到 关联数据； 实时监控数据维度表中的维度信息是 否发生变化； 在未发生变化时， 利用预设的流处 理框架将关联数据进行分析； 在发生变化时， 获 取数据维度表中的维度变化信息， 并根据维度变 化信息， 对关联数据进行更新， 利用流处理框架 将更新后的关联数据进行分析。 本发 明还涉及一 种区块链技术， 关联数据可存储在区块链节点 中。 本发明还提出一种流数据分析装置、 设备 以 及介质。 本发明可以提高流数据分析的准确率。 权利要求书2页 说明书13页 附图2页 CN 114840188 A 2022.08.02 CN 114840188 A 1.一种流数据分析 方法， 其特 征在于， 所述方法包括： 实时从预设的源数据库中获取流数据， 并将所述 流数据传输 至预设的消息队列中； 利用预设的消息过 滤器对所述消息队列中的流数据进行 过滤， 得到过 滤流数据； 按照预设的数据维度表将所述过滤流数据中具有相同维度信 息的数据进行关联， 得到 关联数据； 实时监控所述数据维度表中的维度信息是否发生变化； 在所述数据维度表中的维度信 息未发生变化 时， 利用预设的流处理框架将所述关联数 据进行分析； 在所述数据维度表中的维度信息发生变化时， 获取所述数据维度表中的维度变化信 息， 并根据所述 维度变化信息， 对所述关联数据进 行更新， 利用所述流处理框架将更新后的 所述关联 数据进行分析。 2.如权利要求1所述的流数据分析方法， 其特征在于， 所述利用预设的消息过滤器对所 述消息队列中的流数据进行 过滤， 得到过 滤流数据， 包括： 对所述流数据进行 数据清洗， 得到清洗流数据； 配置所述清洗流数据的流数据标签以及所述消息过滤器的过滤标签， 并判断所述流数 据标签与所述过 滤标签是否一 致； 若所述流数据标签与所述过 滤标签不一致， 将所述 流数据进行 过滤， 得到过 滤流数据； 若所述流数据标签与所述过 滤标签一致， 将所述 流数据作为过 滤流数据。 3.如权利要求2所述的流数据分析方法， 其特征在于， 所述对所述流数据进行数据清 洗， 得到清洗流数据， 包括： 删除所述 流数据中的异常数据， 得到初始流数据； 删除所述初始流数据中的重复数据， 得到清洗流数据。 4.如权利要求1所述的流数据分析方法， 其特征在于， 所述按照预设的数据维度表将所 述过滤流数据中具有相同维度信息的数据进行关联， 得到关联 数据， 包括： 获取所述数据维度表中的主键维度及过 滤流数据中的流主键维度； 在所述主键维度与流主键维度相同时， 将所述过滤流数据中具有相同维度信 息的数据 与所述数据维度表进行关联， 得到关联 数据。 5.如权利要求1所述的流数据分析方法， 其特征在于， 所述实时监控所述数据维度表中 的维度信息是否发生变化， 包括： 将所述数据维度表中的维度信息拆分为多个节点， 通过预设的心跳机制设置监控接 口； 判断每个所述节点是否在预设时间内通过 所述监控接口发出回复； 若所述节点没有在预设时间内通过所述监控接口发出回复， 则所述维度信 息未发生变 化； 若所述节点在预设时间内通过 所述监控接口发出回复， 则所述维度信息发生变化。 6.如权利要求1所述的流数据分析方法， 其特征在于， 所述将所述流数据传输至预设的 消息队列中， 包括： 获取所述源数据库的数据接口及所述消息队列的消息中间件； 建立所述数据接口与 所述消息 中间件的传输链路， 通过所述传输链路将所述流数据传权　利　要　求　书 1/2 页 2 CN 114840188 A 2输至所述消息队列中。 7.如权利要求1所述的流数据分析方法， 其特征在于， 所述获取所述数据维度表中的维 度变化信息之后， 还 包括： 利用Flink框架同步所述数据维度表， 以实时同步获取所述数据维度表中的维度变化 信息， 并将所述维度变化信息存 储至预设的项目维度数据库中。 8.一种流数据分析装置， 其特 征在于， 所述装置包括： 流数据实时获取模块， 用于实时从预设的源数据库中获取流数据， 并将所述流数据传 输至预设的消息队列中； 流数据过滤模块， 用于利用预设的消息过滤器对所述消息队列中的流数据进行过滤， 得到过滤流数据； 流数据关联模块， 用于按照预设的数据维度表将所述过滤流数据中具有相同维度信 息 的数据进行关联， 得到关联 数据； 维度信息实时监控 模块， 用于实时监控所述数据维度表中的维度信息是否发生变化； 关联数据分析模块， 用于在所述数据维度表中的维度信息未发生变化时， 利用预设的 流处理框架将所述关联数据进行分析； 在所述数据维度表中的维度信息发生变化时， 获取 所述数据维度 表中的维度变化信息， 并根据所述 维度变化信息， 对所述关联数据进 行更新， 利用所述 流处理框架将更新后的所述关联 数据进行分析。 9.一种电子设备， 其特 征在于， 所述电子设备包括： 至少一个处 理器； 以及， 与所述至少一个处 理器通信连接的存 储器； 其中， 所述存储器存储有可被所述至少一个处理器执行的计算机程序， 所述计算机程序被所 述至少一个处理器执行， 以使 所述至少一个处理器能够执行如权利要求 1至7中任一项所述 的流数据分析 方法。 10.一种计算机可读存储介质， 存储有计算机程序， 其特征在于， 所述计算机程序被处 理器执行时实现如权利要求1至7中任一项所述的流数据分析 方法。权　利　要　求　书 2/2 页 3 CN 114840188 A 3