(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210277909.6 (22)申请日 2022.03.21 (71)申请人 上海东普信息科技有限公司 地址 201700 上海市青浦区外 青松公路 5045号508室U区4 4号 (72)发明人 张浩　杨周龙　 (74)专利代理 机构 北京市京大律师事务所 11321 专利代理师 姚维 (51)Int.Cl. G06F 16/23(2019.01) G06F 16/25(2019.01) G06F 16/215(2019.01) G06F 16/2455(2019.01) G06F 16/2458(2019.01)G06F 16/28(2019.01) G06Q 10/08(2012.01) (54)发明名称 数据实时更新方法、 装置、 设备及存 储介质 (57)摘要 本发明涉及物 流技术领域， 公开了一种数据 实时更新方法、 装置、 设备及存储介质。 本方法包 括： 通过Apache  Flink对获取的初 始物流明细数 据进行预处理， 得到目标物流明细数据； 对目标 物流明细数据进行聚合， 得到压缩物流数据； 对 压缩物流数据进行维度分析， 得到多维度物流数 据； 对多维度物流数据进行统计， 得到实时物流 数据表； 获取离线物流数据， 并将离线物流数据 加载至配置表， 得到物流配置数据； 将物流配置 数据分布式导入实时物流数据表， 并通过实时物 流数据表更新离线物流数据表。 本方案通过将物 流数据实时更新至离线表， 保证了数据的一致 性， 提高了针对物流进出站海量物 流数据的处理 效率低下的技 术问题。 权利要求书2页 说明书16页 附图6页 CN 114936214 A 2022.08.23 CN 114936214 A 1.一种数据实时更新方法， 其特 征在于， 所述数据实时更新方法包括： 获取初始物流 明细数据， 并通过大数据处理引擎Apache  Flink对所述初始物流明细 数 据进行数据预处 理， 得到目标物流明细数据； 对所述目标物流明细数据进行聚合去重处 理， 得到压缩物流数据； 对所述压缩物流数据进行维度分析处 理， 得到多维度物流数据； 对所述多维度物流数据进行统计， 得到实时物流数据表； 获取分拨中心 的离线物流数据， 并将所述离线物流数据加载至预设配置表， 得到物流 配置数据； 将所述物流配置数据分布式导入所述实时物流数据表， 并通过所述实时物流数据表更 新预置离线物流数据表。 2.根据权利要求1所述的数据实时更新方法， 其特征在于， 所述获取初始物流明细数 据， 并通过大数据处理引擎Apache  Flink对所述初始物流明细数据进行数据预处理， 得到 目标物流明细数据包括： 获取初始 物流明细数据， 并将所述初始 物流明细数据存 储至消息队列； 通过大数据处理引擎Apache  Flink对所述消息队列中的初始物流明细数据进行数据 解析， 得到已解析的物流明细数据； 基于预设过滤规则对所述已解析的物流明细数据进行过滤处理， 得到目标物流明细数 据， 并对所述目标物流明细数据进行缓存处 理。 3.根据权利要求1所述的数据实时更新方法， 其特征在于， 所述对所述目标物流明细数 据进行聚合去重处 理， 得到压缩物流数据包括： 提取所述目标物流明细数据中的多个属性标识和所述属性标识对应的属性参数， 并对 各所述属性标识进行聚合处 理， 得到聚合标识； 基于所述 聚合标识查询预置标识参照表， 并根据查询的结果判断所述 聚合标识是否在 所述标识参照表中存在； 若存在， 则将所述聚合标识中对应的各属性 参数剔除； 若不存在， 则将所述聚合标识中对应的各属性 参数进行聚合处 理， 得到压缩物流数据。 4.根据权利要求3所述的数据实时更新方法， 其特征在于， 所述对所述压缩物流数据进 行维度分析处 理， 得到多维度物流数据包括： 通过预设实时流处理维度模型按照预设的多个业务场景， 对所述压缩物流数据进行拆 分处理， 得到多个业 务场景物流数据； 按照预设的指标维度对所述多个业务场景物流数据进行细粒度拆分， 得到多维度物流 数据， 并将所述多维度物流数据存 储至各业 务场景对应的明细表中。 5.根据权利要求1所述的数据实时更新方法， 其特征在于， 所述对所述多维度物流数据 进行统计， 得到实时物流数据表包括： 对报表生成请求进行参数解析， 得到多个业务指标和多个物流数据统计字段， 并分别 对所述业务指标进行分析， 确定各业 务指标对应的目标业 务场景； 基于所述目标业务场景， 对所述目标业务场景对应的业务维度进行分析， 得到与各业 务指标相对应的目标业 务维度； 按照所述目标业务维度从所述各业务场景对应的明细数据表中提取目标维度物流数权　利　要　求　书 1/2 页 2 CN 114936214 A 2据； 对所述业务指标和所述目标维度物流数据进行聚合处理， 得到数据宽表， 基于所述数 据宽表和所述多个物流数据 统计字段， 得到实时物流数据， 并根据所述实时物流数据生成 实时物流数据表。 6.根据权利要求1所述的数据实时更新方法， 其特征在于， 所述将所述物流配置数据分 布式导入所述实时物流数据表包括： 若预置异步方法为异步线程方式， 则根据 所述物流配置数据在预置分布式消息队列中 的存储队列数量， 从预置线程池中调用对应数量的线程各存 储队列中； 根据所述线程的结构数据存储协议， 分别将各所述存储队列中顺序存储的物流配置数 据异步导入所述实时物流数据表中。 7.根据权利要求1 ‑6中任一项所述的数据实时更新方法， 其特征在于， 在所述将所述物 流配置数据分布式导入所述 实时物流数据 表， 并通过所述实时物流数据 表更新预置离线物 流数据表之后， 还 包括： 通过所述实时物流数据表中的物流明细数据和所述离线物流数据表中的物流指标数 据， 计算所述分拨中心的效能指标； 根据所述效能指标， 对所述分拨中心的操作效率进行监控。 8.一种数据实时更新装置， 其特 征在于， 所述数据实时更新装置包括： 预处理模块， 用于获取初始物流明细数据， 并通过大数据处理引擎Apache  Flink对所 述初始物流明细数据进行 数据预处 理， 得到目标物流明细数据； 聚合模块， 用于对所述目标物流明细数据进行聚合去重处 理， 得到压缩物流数据； 分析模块， 用于对所述压缩物流数据进行维度分析处 理， 得到多维度物流数据； 统计模块， 用于对所述多维度物流数据进行统计， 得到实时物流数据表； 加载模块， 用于获取分拨中心 的离线物流数据， 并将所述离线物流数据加载至预设配 置表， 得到物流配置数据； 更新模块， 用于将所述物流配置数据分布式导入所述实时物流数据表， 并通过所述实 时物流数据表更新预置 离线物流数据表。 9.一种数据实时更新设备， 其特征在于， 所述数据实时更新设备包括： 存储器和至少一 个处理器， 所述存 储器中存 储有指令， 所述存 储器和所述至少一个处 理器通过线路互连； 所述至少一个处理器调用所述存储器中的所述指令， 以使得所述数据实时更新设备执 行如权利要求1 ‑7中任一项所述的数据实时更新方法的各个步骤。 10.一种计算机可读存储介质， 所述计算机可读存储介质上存储有计算机程序， 其特征 在于， 所述计算机程序被处理器执行时实现如权利要求1 ‑7中任一项所述的数据实时更新 方法的各个步骤。权　利　要　求　书 2/2 页 3 CN 114936214 A 3