(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210711753.8 (22)申请日 2022.06.22 (71)申请人 重庆长安汽车股份有限公司 地址 400020 重庆市江北区建新 东路260号 (72)发明人 朱成建　 (74)专利代理 机构 重庆博凯知识产权代理有限 公司 50212 专利代理师 张先芸 (51)Int.Cl. G06F 16/215(2019.01) G06F 16/23(2019.01) G06F 16/245(2019.01) G06F 16/80(2019.01) G06F 16/835(2019.01) G06F 16/90(2019.01)G06F 16/907(2019.01) (54)发明名称 一种基于数据湖的全生命周期数据销毁方 法 (57)摘要 本发明公开了一种基于数据湖的全生命周 期数据销 毁方法， 建立数据湖， 并将数据存储至 数据湖中； 在数据存入数据湖时， 在内存或新增 的数据文件中添加删除标记； 所述销毁方法包括 如下步骤： 步骤1： 在终端上发送用户注销或者销 毁数据的命令， 并启 动数据删除任务； 步骤2： 查 询元数据， 在数据湖中查询待删除的数据； 步骤 3： 根据数据文件中的删除标记对待删除的数据 进行删除清理； 步骤4： 记录删除任务执行的信 息， 并生成对应的删除日志。 本发明充分利用了 数据湖高速upsert的特性， 能够正 常实现指定 结 构化、 半结构化、 非结构化数据删除操作； 能够快 速实现对于标记个体实例的相关全生命周期数 据删除。 权利要求书1页 说明书3页 附图1页 CN 115203183 A 2022.10.18 CN 115203183 A 1.一种基于数据湖的全生命周期数据销毁方法， 其特征在于， 建立数据湖， 并将数据存 储至数据湖中； 在数据存 入数据湖时， 在内存或新增的数据文件中添加删除标记； 所述销毁方法包括如下步骤： 步骤1： 在终端上发送用户注销或者销毁数据的命令， 并启动数据删除任务； 步骤2： 查询元 数据， 在数据湖中查询待删除的数据； 步骤3： 根据数据文件中的删除标记对待删除的数据进行删除清理； 步骤4： 记录删除任务执 行的信息， 并生成对应的删除日志。 2.根据权利要求1所述基于数据湖的全生命周期数据销毁方法， 其特征在于， 在步骤2 中， 数据湖根据个人信息标记或者销毁数据命令中的数据标记查询待删除的数据。 3.根据权利要求1所述基于数据湖的全生命周期数据销毁方法， 其特征在于， 在数据存 入数据湖时， 采用Merge  On Read模式进行 数据写入。 4.根据权利要求1所述基于数据湖的全生命周期数据销毁方法， 其特征在于， 在步骤4 中， 将每个数据的删除记录在删除日志中， 并实时更新整个删除任务的执 行状态。 5.根据权利要求4所述基于数据湖的全生命周期数据销毁方法， 其特征在于， 所述执行 状态包括执 行中、 成功和失败中的一种。权　利　要　求　书 1/1 页 2 CN 115203183 A 2一种基于数据湖的全生命周期数据销毁方 法 技术领域 [0001]本发明涉及数据存储技术领域， 具体涉及 一种基于数据湖的全生命周期数据销毁 方法。 背景技术 [0002]近年来， 随着互联 网应用的普及和大数据产业的发展， 给人们生活带来很多便利， 但与此同时， 个人信息安全也面临着严重的威胁。 近年来， 与个人信息安全相关的安全规范 也以开始实施， 其中明确 规范了个人信息主体注销账户之后， 信息控制者应及时删除其个 人信息或匿名化处 理。 [0003]现有技术中， 往往依靠对象管理数据库自身的能力对信息进行删除， 在海量数据 中删除特定用户信息对数据库自身性能要求较高， 同时， 即由于删除数据会影响数据库的 使用， 所以需要间隔时间进行周期性调 度， 为删除用户数据提供专门的时间进 行处理， 还需 要启动后台守护删除进程， 并长期监控， 增加了额外的系统开销。 专利CN111339033A介绍了 一种基于对 象存储的清理过期数据对 象方法， 但该方法不仅存在上述问题， 还存在仅考虑 过期数据的清洗， 无法应对用户个人信息相关全生命周期数据清洗场景， 导致只删除了过 期数据， 数据清洗不彻底。 发明内容 [0004]针对现有技术存在的上述不足， 本发明的目的在于提供一种基于数据湖的全生命 周期数据销毁方法， 以解决现有技术中依靠对 象管理数据库自身的能力对信息进行删除、 对数据库的性能要求较高、 需要间隔时间进行周期性调度、 还需要启动后台守护删除进程 并长期监控、 增 加了额外的系统开销、 数据清洗不彻底的问题。 [0005]为了解决上述 技术问题， 本发明采用如下技 术方案： 一种基于数据湖的全生命周期数据销毁方法， 建立数据湖， 并将数据存储至数据 湖中； 在数据存 入数据湖时， 在内存或新增的数据文件中添加删除标记； 所述销毁方法包括如下步骤： 步骤1： 在终端上发送用户注销或者销毁数据的命令， 并启动数据删除任务； 步骤2： 查询元 数据， 在数据湖中查询待删除的数据； 步骤3： 根据数据文件中的删除标记对待删除的数据进行删除清理； 步骤4： 记录删除任务执 行的信息， 并生成对应的删除日志。 [0006]与现有技 术相比， 本发明具有如下有益效果： 1、 本发明所述方法适用于删除个人信息这类需要处理相互关联关系的多表多对 象删除场景， 且能够删除全生命周期数据； 由于数据删除任务的开启依赖于具体的用户注 销或其他销毁命令， 因此不需要后台守护进程监控 数据的状态， 减少整体系统资源消耗； 本 发明所述方法删除的数据的过程， 优先在内存中操作， 通过延迟对IO的操作来大幅提升效 率。说　明　书 1/3 页 3 CN 115203183 A 3