(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210326569.1 (22)申请日 2022.03.30 (71)申请人 上海东普信息科技有限公司 地址 201707 上海市青浦区外 青松公路 5045号508室U区4 4号 (72)发明人 张浩　杨周龙　聂英春　康元佳　 刘镕硕　高书增　 (74)专利代理 机构 上海汉声知识产权代理有限 公司 3123 6 专利代理师 胡晶 (51)Int.Cl. G06Q 10/08(2012.01) G06F 16/2458(2019.01) G06F 16/22(2019.01) G06K 9/62(2022.01)G06Q 30/06(2012.01) G06F 16/23(2019.01) G06F 16/2455(2019.01) G06F 16/215(2019.01) (54)发明名称 基于聚合模型的数据监控方法、 装置、 设备 和存储介质 (57)摘要 本发明公开了一种基于聚合模型的数据监 控方法、 装置、 设备和存储介质， 通过创建聚合模 型， 实现以下数据处理步骤： 获取存储于物流分 拨中心的基础数据库中的业务数据， 对所述业务 数据进行预处理， 得到多字段数据聚合表； 采用 Replace if not null方法更新多字 段数据聚合 表； 采用bitmap_union方法对多字 段数据聚合表 进行去重统计， 得到物流订单的汇总数据； 服务 端通过该聚合模 型， 将物流分拨中心的基础数据 库中的业务数据写入Doris数据库中， 自动生成 DWD层的物流订单聚合数据或DWS层的物流订单 汇总数据。 通过上述方法将物 流分拨中心海量的 扫描数据， 写入Dori s数据库， 实现秒级的接口响 应速度， 满足数据的实时监控及分析。 权利要求书2页 说明书7页 附图2页 CN 114781961 A 2022.07.22 CN 114781961 A 1.一种基于聚合模型的数据监控方法， 其特 征在于， 包括： 服务端创建聚合模型， 所述聚合模型实现以下 数据处理步骤： 获取存储于物流分拨中心 的基础数据库中的业务数据， 对所述业务数据进行预处理， 得到包含物 流订单的总数、 最早进站/出站的时间、 最晚进站/出站的时间、 大包标识及最大 重量在内的多字段 数据聚合表； 采用Replace  if not null方法更新所述多字段 数据聚合表； 采用bitmap_union方法对所述多字段数据聚合表进行去重统计， 得到物流订单的汇总 数据； 服务端通过所述聚合模型， 将物流分拨中心的基础数据库中的业务数据写入Doris数 据库中， 自动生成DWD层的物流 订单聚合数据或DWS层的物流 订单汇总数据。 2.如权利要求1所述的基于聚合模型的数据监控方法， 其特征在于， 所述对业务数据进 行预处理， 得到包含物流订单的总数、 最早进站/出站的时间、 最晚进站/出站的时间、 大包 标识及最大重量在内的多字段 数据聚合表进一 步包括： 以SUM函数对所述 业务数据进行物流 订单数量的统计； 以MIN函数计算物流 订单的最 早进站时间及出站时间； 以MAX函数计算物流 订单的最晚进站时间及出站时间、 大包标识、 最大重量； 得到包含物流订单的总数、 最早进站/出站的时间、 最晚进站/出站的时间、 大包标识及 最大重量在内的多字段 数据聚合表。 3.如权利要求1所述的基于聚合模型的数据监控方法， 其特征在于， 所述服务端通过所 述聚合模型， 将物流分拨中心的基础数据库中的业 务数据写入Doris数据库中进一 步包括： 将物流分拨中心的基础数据库中的业务数据导入Doris数据库中时， 创建数据表， 设置 维度列和指标列， 并在指标列中设置S UM、 MIN、 MAX、 Replac e if not null、 bitmap_u nion中 任一聚合 函数； 所述业务数据根据所述维度列进行分组， 并根据所述指标列进行聚合。 4.如权利要求3所述的基于聚合模型的数据监控方法， 其特征在于， 所述根据指标列进 行聚合进一 步包括： 当进行数据导入时， 对同一个导入批次的数据进行聚合； 当进行数据融合时， 对不同导入批次的数据进行聚合； 当进行数据查询时， 对未进行聚合的数据， 若符合查询条件， 则进行内部聚合后， 再返 回给客户端。 5.如权利要求1所述的基于聚合模型的数据监控方法， 其特征在于， 所述将物流分拨中 心的基础数据库中的业 务数据写入Doris数据库中之后还 包括： 基于Doris对业务数据进行维护， 确定需要监控的指定维度项目和 指定指标项目， 响应 于所述指 定维度项目和/或所述指定指标项目异常， 利用与所述指 定维度项目和/或所述指 定指标项目相对应的至少一种异常 分析算法， 确定 至少一个异常 分析结果。 6.如权利要求5所述的基于聚合模型的数据监控方法， 其特征在于， 所述确定至少一个 异常分析结果进一 步包括： 按照异常置信度， 从高到低 地提取所述至少一个异常分析结果中预设数量的异常分析 结果， 将所述预设数量的异常 分析结果进行融合， 得到最终异常 分析结果。权　利　要　求　书 1/2 页 2 CN 114781961 A 27.一种基于聚合模型的数据监控 装置， 其特 征在于， 包括： 模型创建模块， 用于服 务端创建聚合模型， 所述聚合模型实现以下 数据处理步骤： 获取存储于物流分拨中心 的基础数据库中的业务数据， 对所述业务数据进行预处理， 得到包含物 流订单的总数、 最早进站/出站的时间、 最晚进站/出站的时间、 大包标识及最大 重量在内的多字段 数据聚合表； 采用Replace  if not null方法更新所述多字段 数据聚合表； 采用bitmap_union方法对所述多字段数据聚合表进行去重统计， 得到物流订单的汇总 数据； 模型应用模块， 用于服务端通过所述聚合模型， 将物流分拨中心 的基础数据库中的业 务数据写入Doris数据库中， 自动生成DWD层的物流订单聚合数据或DWS层的物流订单汇总 数据。 8.如权利要求7所述的基于聚合模型的数据监控装置， 其特征在于， 所述聚合模型以 SUM函数对 所述业务数据进 行物流订单数量的统计， 以MIN函数计算物 流订单的最早进站时 间及出站时间， 以MAX函数计算物流订单的最晚进站时间及出站时间、 大包标识、 最大重量； 得到包含物 流订单的总数、 最早进站/出站的时间、 最晚进站/出站的时间、 大包标识及最大 重量在内的多字段 数据聚合表。 9.一种基于聚合模型的数据监控设备， 其特征在于， 包括： 存储器和 处理器， 所述存储 器中存储有计算机可读指令， 所述计算机可读指令被所述处理器执行时， 使得所述处理器 执行如权利要求1至 6中任意一项所述的基于聚合模型的数据监控方法中的步骤。 10.一种存储有计算机可读指令的存储介质， 其特征在于， 所述计算机可读指令被一个 或多个处理器执行时， 使得一个或多个处理器执行如权利要求1至6中任意一项 所述的基于 聚合模型的数据监控方法中的步骤。权　利　要　求　书 2/2 页 3 CN 114781961 A 3