(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210353332.2 (22)申请日 2022.04.02 (71)申请人 南京大学 地址 210000 江苏省南京市栖霞区仙林大 道163号 (72)发明人 毛云龙　李成成　仲盛　 (74)专利代理 机构 南京乐羽知行专利代理事务 所(普通合伙) 32326 专利代理师 李培 (51)Int.Cl. G06N 20/00(2019.01) G06N 5/04(2006.01) G06F 16/23(2019.01) G06F 7/36(2006.01) (54)发明名称 一种支持动态增加和删除用户数据的机器 学习模型的实现方法 (57)摘要 本发明公开了一种支持动态增加和删除用 户数据的机器学习模型的实现方法， 包括步骤1， 服务器端的数据收集； 步骤2， 对用户数据集进行 划分， 得到一系列相 互独立的数据子集， 且每条 用户数据只会存储于一个数据子集中； 步骤3， 通 过子模型对划分得到的所述数据子集进行训练， 采用集成模型将训练后的子模型进行组合推理； 步骤4， 响应用户的数据更新请求， 实现对新增用 户数据的增量学习； 步骤5， 响应用户的数据删除 请求， 实现对用户数据的遗忘。 本发明可 以对任 意数量的用户数据进行机器学习， 且能够实现准 确的模型推理结果。 权利要求书3页 说明书8页 附图4页 CN 114692894 A 2022.07.01 CN 114692894 A 1.一种支持动态增加和删除用户数据的机器学习 模型的实现方法， 其特征在于包括如 下步骤： 步骤1， 服务器端的数据收集； 所述数据收集包括由相关的公开数据集以及服务器预先 收集的数据组成的辅助数据集和用户上传的用户数据； 步骤2， 服务器对用户数据集进行划分， 得到一系列相互独立的数据子集， 且每条用户 数据只会 存储于一个数据子集中； 步骤3， 服务器通过子模型对划分得到的所述数据子集进行训练， 通过集成模型将训练 后的子模型进行组合推理； 步骤4， 服务器响应用户的数据更新请求， 实现对新增用户数据的增量学习； 所述用户 的数据更新请求包括用户与服务器进行交互， 并上传自己的私有数据， 请求服务器学习新 上传的数据； 步骤5， 服务器响应用户的数据删除请求， 实现对现存用户数据的机器遗忘； 所述用户 的数据删除请求包括用户与服务器进行交互， 并上传自己的身份标识， 请求服务器删除该 身份标识下的全部数据， 并在机器学习模型中去除此部分数据的训练参数。 2.根据权利要求1所述的支持动态增加和删除用户数据的机器学习模型的实现方法， 其特征在于： 步骤1 中， 所述用户数据包括用户的原始数据样 本、 样本的数据标签、 样 本的用 户身份标识、 样本的可用时间； 所述用户的原 始数据样本， 每 个用户拥有 多个数据样本， 用x表示单个数据样本； 所述样本的数据标签， 对于每个样本， 都拥 有一个相应的数据标签， 用于指示具体的数 据类别， 用y表示相关的类别； 所述用户的身份标记， 来自相同用户的数据拥有相同的身份标识， 记作u； 所述数据的可用时间， 由用户指定， 记作t。 3.根据权利要求1所述的支持动态增加和删除用户数据的机器学习模型的实现方法， 其特征在于： 步骤2中， 所述用户数据集由多 条用户数据组成， 对于包含n条数据的用户数据 集， 表示为Du＝{(xi， yi， ui， ti)|1≤i≤n}。 4.根据权利要求3所述的支持动态增加和删除用户数据的机器学习模型的实现方法， 其特征在于： 所述步骤2的数据划分过程包括将用户数据集按用户身份属性进 行拆分， 并计 算平均可用时间； 之后对用户数据进行排序， 将排序后的数据按序分为一系列相互独立的 数据子集； 所述数据子集包 含来自多个用户的数据， 不同的数据子集之间相互独立。 5.根据权利要求4所述的支持动态增加和删除用户数据的机器学习模型的实现方法， 其特征在于： 所述 步骤2具体步骤 包括： 步骤201， 对所述用户数据集Du， 按数据的身份属性拆分为多个单用户数据集， 其中每个 单用户数据集唯一包含来自特定用户的数据， 第j个用户的数据集可以表示为 步骤202， 对每 个单用户数据集， 计算 其中数据的平均可用时间 步骤203， 通过排序算法对单用户数据集的平均可用时间进行排序， 得到一组有序的单 用户数据集 ， 即 且对于任意的两个集合 ， 都满足 权　利　要　求　书 1/3 页 2 CN 114692894 A 2步骤204， 将上述的用户数据集按照相同的顺序划分为m个子集， 每个子集包含 个用 户的数据， 记作 其中1≤j≤m， 完成用户数 据集的划分。 6.根据权利要求1所述的支持动态增加和删除用户数据的机器学习模型的实现方法， 其特征在于： 所述步骤3的模型训练过程包括子模 型的训练和集成模 型的训练， 其中子模型 的训练过程包括使用机器学习算法对一个数据子集和辅助数据集进行训练， 对每个数据子 集执行训练算法以得到相应的子模型； 集成模型 的训练过程包括使用机器学习算法， 使用 全部的子模型和全部数据集， 训练得到集成模型。 7.根据权利要求6所述的支持动态增加和删除用户数据的机器学习模型的实现方法， 其特征在于： 所述步骤3具体步骤包括： 步骤301， 初始化一个子模型的列表， 用于保存各个 子模型的参数； 步骤302， 设定子模型训练的基本结构与对应的超参数， 包括模型训练轮次N， 模型的学 习率lr， 模型的损失函数L； 步骤303， 对于第j个模型， 初始化 一个单独的模型参数， 记作Wj； 步骤304， 使用划分得到的第j个数据子集 以及服务器保存的辅助数据集Do， 作为当 前模型的训练集 合； 步骤305， 根据模型的超参数， 使用对应的学习率lr对模型训练N次， 每轮训练中使用损 失函数更新模型的参数， 也即 步骤306， 使用j＝1到j＝m， 重复步骤303到步骤305， 并保存对应的Wj到子模型的列表 中， 得到全部 子集所对应的子模型； 步骤307， 设定集成模型训练的基本结构， 与对应的超参数， 包括模型训练轮次N， 模型 的学习率 lr， 模型的损失函数L； 步骤308， 初始化 集成模型的参数， 记作E； 步骤309， 使用全部用户数据集Du与辅助数据集Do， 作为集成模型的原 始训练集； 步骤310， 根据集成模型的超参数， 使用对应的学习率lr对集成模型训练N次， 每轮训练 中使用损失函数更新模型的参数， 即 其中W1 (x),…,Wm(x)表示子模型对输入数据x的计算结果； 步骤311， 保存集成模型的参数， 结束模型的训练过程； 步骤312， 使用上述的子模型和集成模型， 实现对未知数据的推理； 模型的推理过程可 表示为E(W1(x),…,Wm(x))， 也即首先使用全部子模型对输入数据进行计算， 然后将全部的 计算结果输入到集成模型中进行聚合， 由集成模型输出最终的推理结果。 8.根据权利要求7所述的支持动态增加和删除用户数据的机器学习模型的实现方法， 其特征在于： 所述步骤4的模型更新过程包括服务器响应用户的数据更新请求， 接收用户上 传的数据样本； 之后服务器使用机器学习算法更新子模型与集成模型 的参数， 完成对新增 数据的学习； 所述用户的数据更新请求包括用户与服务器进 行交互， 并上传自己的k条私有 数据， 上传的数据集 为Dupdate＝{(xi,yi,ui,ti)|1≤i≤k}； 具体的处 理步骤如下： 步骤401， 所述服务器在接受到此数据集后， 将其合并到已有的用户数据集中， 即权　利　要　求　书 2/3 页 3 CN 114692894 A 3