(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210393006.4 (22)申请日 2022.04.14 (71)申请人 北京理工大 学 地址 100081 北京市海淀区中关村南大街5 号 (72)发明人 徐蕾　吴瑕　祝烈煌　 (74)专利代理 机构 北京正阳理工知识产权代理 事务所(普通 合伙) 11639 专利代理师 张利萍 (51)Int.Cl. G06N 20/00(2019.01) G06F 21/62(2013.01) (54)发明名称 一种满足个性化本地差分隐私需求的联邦 学习方法 (57)摘要 本发明涉及一种满足个性化本地差分隐私 需求的联邦学习方法， 属于网络与信息安全技术 领域。 在联邦学习的每一个迭代轮次中， 每个客 户端在完成本地模型训练后， 根据自己设置的隐 私预算对原始的本地模型参数进行扰动， 然后发 送给服务器。 服务器收集所有客户端扰动后的本 地模型参数， 并根据每个客户端设置的隐私预算 计算其对应的概率参数， 在聚合全局模型时根据 概率参数来决定使用哪些客户端的本地模型。 对 比现有技术， 本发明可抵抗来自不可信服务器的 隐私攻击， 客户端可设置不同的隐私预算， 支持 “个性化”的隐私保护。 客户端选择机制可以在隐 私预算个性化设置的情形下， 使服务器获得更准 确的全局模型， 平衡 了数据可用性与隐私性。 权利要求书3页 说明书4页 附图1页 CN 114841364 A 2022.08.02 CN 114841364 A 1.一种满足个性 化本地差分隐私需求的联邦学习方法， 其特 征在于， 包括以下步骤： 步骤1： 服 务器生成初始全局模型， 并将初始全局模型参数发送给 各客户端； 其中， 服务器是一个不可信的实体， 负责收集各客户端的本地模型参数、 计算各客户端 对应的概 率参数， 以及生成全局模型； 服 务器同时也是全局模型的需求 者； 客户端拥有联邦学习任务所需的训练数据， 负责训练本地模型、 裁切和扰动原始模型 参数， 生成扰动后的本地模 型； 由多个客户端共同参与联邦学习过程， 各个客户端的训练数 据集是独立同分布的； 步骤2： 每个客户端根据服务器分发的全局模型参数， 在本地训练数据集上获得原始的 本地模型； 步骤3： 每 个客户端对训练得到的原 始模型的参数进行裁切； 步骤4： 每个客户端对经过裁切后的原始模型参数进行扰动， 即， 添加高斯随机噪声， 客 户端根据设定的 隐私预算计算高斯分布的标准差， 并生成相应的高斯噪声叠加在原始模型 的参数向量上； 之后， 客户端将扰动 后的参数向量作为本地模型参数向量， 发送给服 务器； 步骤5： 选择客户端， 生成全局模型； 首先， 服务器收集 来自客户端的本地模型参数； 然后， 服务器根据客户端设置的隐私预算， 计算其对应的概率参数； 其中， 概率参数表 示某个客户端的本地模型参数被服 务器选中用于计算本轮全局模型参数的概 率； 被选中的客户端地位平等； 服务器使用这些客户端的本地模型参数计算本轮全局模型 参数， 并将全局模型参数发送给 各客户端； 重复步骤2至步骤5， 直到迭代结束。 2.如权利要求1所述的一种满足个性化本地差分隐私需求的联邦学习方法， 其特征在 于， 步骤1包括以下步骤： 步骤1.1： 服 务器生成初始全局模型参数W0； 其中， W0是一个d维向量， 表示由实数组成的d维向量空间， 向量中的每个 元素为0； N个客户端{Client1,Client2,...,ClientN}所持有的原始数据集D是独立同分布 的， 分别为{D1,D2,...,DN}； 步骤1.2： 服务器将初始全局模型参数W0发送给N个客户端{Client1,Client2,..., ClientN}。 3.如权利要求1所述的一种满足个性化本地差分隐私需求的联邦学习方法， 其特征在 于， 步骤3中的模型参数裁切过程， 使用事先设定的裁切阈值， 裁切阈值的计算过程包括模 型参数向量范 数计算和取中间值 运算。 4.如权利要求1所述的一种满足个性化本地差分隐私需求的联邦学习方法， 其特征在 于， 步骤2中， 在迭代的第r轮， 第i个客户端Clienti根据服务器发送来的全局模型参数Wr‑1 和本地训练数据集Di， 使用随机梯度下降法得到原始模型参数 其中， 原始 模型参数 η为学习速率， 表示使用随机梯度下降算法后得到 的梯度；权　利　要　求　书 1/3 页 2 CN 114841364 A 2步骤3中， 在迭代的第r轮， 第i个客户端Clienti根据事先设定好的裁切阈值c对其原始 模型参数 进行裁切， 得到 裁切后的本地模型参数 步骤4中， 在迭代的第r轮， 第i个客户端Clienti对经过裁切后的原始模型参数 进 行扰动， 即添加噪声， 包括以下步骤： 步骤4.1： 根据客户端Cl ienti设置的隐私预算∈i， 计算得到高斯分布的标准差σi； 其中， 隐私预算∈i满足∈low≤∈i≤∈high； 高斯分布标准差σi的计算公式为： 其中， q表示对Clienti所 拥有的数据集Di进行随机抽样的概 率， δi表示数据集Di大小的倒数； R表示总迭代轮数； 步骤4.2： 根据Clienti的高斯分布标准差σi生成高斯噪声N(0, σi2)， 叠加在经裁切后的 原始模型参数 上， 得到经裁切、 扰动 后的本地模型参数 其中， 高斯噪声的概率密度函数Gauss为： π表示圆周 率， σ 表示高斯分布标准差， x表示随机变量； 对于向量 中的每一个元 素p， 扰动 后变成 步骤4.3： 客户端Cl ienti将第r轮的本地模型参数 发送给服 务器； 步骤5包括如下步骤： 步骤5.1： 服务器计算客户端的概率参数{P1,P2,...,PN}； 每个客户端的概率参数P是根 据步骤4中 高斯分布标准差计算得到的； 对于第i个客户端， 服务器首先计算其 高斯分布标准差σi的倒数， 记为ρi， 然后对ρi进行 归一化处理， 得到客户端i的概 率参数 N为客户端的总数； 步骤5.2： 根据各个客户端所对应的概率参数， 对N个候选客户端进行随机抽取， 选出M 个客户端， 1≤ M≤N； 步骤5.3： 服务器基于选中的M个客户端， 计算第r 轮全局模型参数Wr； 全局模型参数是被 选中的客户端提交 的本地模型参数的平均值， 即 表示经 裁切、 扰动 后的本地模型参数； 在每个迭代轮次的最后， 服 务器将本轮 计算得到的全局模型参数Wr发送给N个客户端。 5.如权利要求4所述的一种满足个性化本地差分隐私需求的联邦学习方法， 其特征在 于， 步骤3中裁切的具体方法为， 将向量 中值大于c的元素置换为c， 将值小于 ‑c的元素 置换为‑c， 经裁切后的 中每一个元 素， 都在[ ‑c,c]内取值。 6.如权利要求4所述的一种满足个性化本地差分隐私需求的联邦学习方法， 隐私预算 下界∈low取1。 7.如权利要求4所述的一种满足个性化本地差分隐私需求的联邦学习方法， 隐私预算权　利　要　求　书 2/3 页 3 CN 114841364 A 3