(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210251912.0 (22)申请日 2022.03.15 (71)申请人 首约科技 （北京） 有限公司 地址 100010 北京市朝阳区枣 营路甲3号2 幢6016室 (72)发明人 曾科源　 (74)专利代理 机构 北京世誉鑫诚专利代理有限 公司 11368 专利代理师 李世端 (51)Int.Cl. G06F 16/23(2019.01) G06F 16/22(2019.01) G06F 16/2455(2019.01) (54)发明名称 一种通用全量数据的处 理方法 (57)摘要 本发明提供的一种通用全量数据的处理方 法包括： 获取用户结果数据， 包括冷数据和热数 据； 根据所述用户结果数据创建分区表； 首次处 理初始化所述冷数据， 计算所述冷数据用户的末 次完成订单， 获得冷数据结果， 并将所述冷数据 结果保存至所述分区表中， 获得冷数据分区表； 处理所述热数据， 计算所述热数据用户的末次完 成订单， 获得热数据结果， 并保存至所述分区表 中， 获得热数据分区表； 将所述冷数据分区表和 所述热数据分区表合并， 获得用户末次订单数 据； 遍历所有的用户， 获得最新的全量用户末次 订单数据。 保障数据完整性的同时， 有效降低数 据处理的资源和时间开销。 权利要求书1页 说明书5页 附图1页 CN 114610737 A 2022.06.10 CN 114610737 A 1.一种通用全量数据的处 理方法， 其特 征在于， 所述处 理方法包括： 获取用户结果数据， 包括冷数据和热 数据； 根据所述用户结果数据创建 分区表； 首次处理初始化所述冷数据， 计算所述冷数据用户的末次完成订单， 获得冷数据 结果， 并将所述冷数据结果保存至所述分区表中， 获得冷数据分区表； 处理所述热数据， 计算所述热数据用户的末次完成订单， 获得热数据 结果， 并保存至所 述分区表中， 获得 热数据分区表； 将所述冷数据分区表和所述热 数据分区表合并， 获得用户末次订单 数据； 遍历所有的用户， 获得最 新的全量用户末次订单 数据。 2.根据权利要求1所述的一种通用全量数据的处理方法， 其特征在于， 所述冷数据为封 存不变的数据， 所述热 数据为动态变化的数据。 3.根据权利要求1所述的一种通用全量数据的处理方法， 其特征在于， 所述将所述冷数 据分区表和所述热 数据分区表合并， 获得用户末次订单 数据具体包括： 使用fulljoin全连接冷数据分区表和热数据分区表， 条件是用户， 优先取B表的末次订 单号， 取不到时再取冷数据分区表的末次订单号， 结果数据保存在所述分区表中， 获得合并 数据表。权　利　要　求　书 1/1 页 2 CN 114610737 A 2一种通用全量数据的处理 方法 技术领域 [0001]本发明涉及网约车 领域， 尤其涉及一种通用全量数据的处 理方法。 背景技术 [0002]大数据时代， 用数据说话， 不论是互联网或传统企业， 都积累大量的数据， 且数据 主题、 种类繁多。 数据分析需求越来越重要， 但是数据来源种类繁多， 数据内容又分门别类， 想要处理这些数据， 获取有价 值的结果， 需要投入很多的人力和时间成本 。 [0003]数据量太大时， 无法处理全量数据， 可能导致数据的准确性降低， 影响运营和抉 择； 处理全量数据的硬件资源和时间成本越积越多， 直接影响了数据产出时效性； 没有通用 性的方法处 理各种不同的数据类型。 发明内容 [0004]鉴于上述问题， 提出了本发明以便提供克服上述问题或者至少部分地解决上述问 题的一种通用全量数据的处 理方法。 [0005]根据本发明的一个方面， 提供了一种通用全量数据的处 理方法包括： [0006]获取用户结果数据， 包括冷数据和热 数据； [0007]根据所述用户结果数据创建 分区表； [0008]首次处理初始化所述冷数据， 计算所述冷数据用户的末次完成订单， 获得冷数据 结果， 并将所述冷数据结果保存至所述分区表中， 获得冷数据分区表； [0009]处理所述热数据， 计算所述热数据用户的末次完成订单， 获得热数据结果， 并保存 至所述分区表中， 获得 热数据分区表； [0010]将所述冷数据分区表和所述热 数据分区表合并， 获得用户末次订单 数据； [0011]遍历所有的用户， 获得最 新的全量用户末次订单 数据。 [0012]可选的， 所述冷数据为封存不变的数据， 所述热 数据为动态变化的数据。 [0013]可选的， 所述将所述冷数据分区表和所述热数据分区表合并， 获得用户末次订单 数据具体包括： [0014]使用fullj oin全连接冷数据分区表和热数据分区表， 条件是用户， 优先取B表的末 次订单号， 取不到时再取冷数据分区表的末次订单号， 结果数据保存在所述分区表中， 获得 合并数据表。 [0015]本发明提供的一种通用全量数据的处理方法包括： 获取用户结果数据， 包括冷数 据和热数据； 根据所述用户结果数据创建分区表； 首次处理初始 化所述冷数据， 计算所述冷 数据用户的末次完成订单， 获得冷数据结果， 并将所述冷数据结果保存至所述分区表中， 获 得冷数据分区表； 处理所述热数据， 计算所述热数据用户的末次完成订单， 获得热数据结 果， 并保存至所述分区表中， 获得热数据分区表； 将所述冷数据分区表和所述热数据分区表 合并， 获得用户末次订单数据； 遍历所有的用户， 获得最新的全量用户末次订单数据。 保障 数据完整性的同时， 有效降低数据处 理的资源和时间开销。说　明　书 1/5 页 3 CN 114610737 A 3