(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210449740.8 (22)申请日 2022.04.26 (71)申请人 西安电子科技大 学 地址 710071 陕西省西安市雁塔区太白南 路2号 (72)发明人 苗银宾　刘紫腾　马建峰　李兴华　 马卓　 (74)专利代理 机构 北京市诚辉律师事务所 11430 专利代理师 耿慧敏　成丹 (51)Int.Cl. G06F 21/60(2013.01) G06F 21/62(2013.01) G06K 9/62(2022.01) (54)发明名称 异步机制的隐私保护联邦学习方法、 装置、 介质及系统 (57)摘要 本发明是针对现有异步联邦学习技术中通 信开销过大、 公平性与准确性相矛盾、 本地模型 梯度收集和全局模型梯度聚合更新过程中的梯 度隐私泄露的问题， 提出的一种支持异步机制的 隐私保护联邦学习方法。 该方法在设定时长内接 收所有最新的和陈旧的第一模型密文， 对这些模 型按照落后第二模型轮次的程度赋予不同权重 并加权聚合， 避免了由于网络延 迟或掉线导致等 待时间增加的问题。 同时需要先将模 型使用掩码 加密后再上传， 不仅保护了客户端的隐私， 还减 小了传统隐私保护联邦学习方案中由于同态加 密技术带来的巨大计算 量和通信开销。 权利要求书2页 说明书10页 附图2页 CN 115062320 A 2022.09.16 CN 115062320 A 1.一种异步机制的隐私保护联邦学习方法， 其特 征在于， 所述方法包括下述 步骤： S100、 在设置的时长内， 在各客户端上对第一模型进行本地训练， 对训练好的第一模 型， 使用该第一模型 所在客户端对应的标识符生成的掩码进行加密， 获得第一模型密文； S200、 在所述时长内使服务器获得第一模型密文、 第一模型所在客户端对应的标识符 以及第一模型 所在客户端的时间戳； S300、 由服务器根据服务器的时间戳和 获得的每一个客户端的时间戳的差值， 计算获 得的每一个客户端发送的第一模型密 文对应权重， 进而利用所述权重对第一模型密 文进行 加权聚合， 得到第二模型密文； S400、 使客户端获得第二模型密文、 服务器计算的各个权重、 当前服务器的时间戳以及 当前服务器获得的标识符， 并使服 务器上的时间戳更新； S500、 使客户端时间戳更新为获得的服务器的时间戳， 对当前每一个被服务器获得的 标识符， 获得其对应的掩码； 将所述掩码与权重结合 获得第二模型密文的密钥， 从而解密得 到第二模型； S600、 判断客户端上的第二模型与第一模型的差值是否满足收敛条件， 若不满足， 将第 二模型作为 客户端上新的第一模型， 返回S10 0； 其中， 每个客户端具有节点标识符掩码表， 在节点标识符掩码表中， 所述掩码基于标识 符生成， 不同客户端对应不同标识符。 2.根据权利要求1的方法， 其特 征在于， 所述加权聚合包括下述 步骤： S301、 获取一个未设置 权重的第一模型密文作为当前第一模型密文； S302、 获取当前第一模型密文对应的时间戳差值， 若所述差值小于第一设定值， 则将该 第一模型密文对应的分值设置为1； 否则， 执 行S304； S303、 若所述差值大于第二设定值， 则将该第一模型密文对应的分值设置为0； 否则， 执 行S304； S304、 将该第一模型密文对应的分值设置为差值与1的和的倒数； S305、 判断是否还有第一模型密文未设置对应的分值； 若还有， 则返回S301； 否则， 计算 所有分值的总和， 执 行S306； S306、 对每一个第一模型密文， 用其对应的分值比上总和获得对应的权 重； S307、 计算每一个第一模型密文乘以其对应权 重后的累加 和， 得到第二模型密文。 3.根据权利要求1所述的方法， 其特征在于， 所述加密包括下述方法： 单一掩码加密、 双 掩码加密。 4.根据权利要求1所述的方法， 其特征在于， 所述第一模型采用下述方法进行训练： 随 机梯度下降法、 全量梯度下降法、 小批量梯度下降法、 Momentum梯度下降法、 NAG梯度下降法 或其它梯度下降法。 5.根据权利要求1所述的方法， 其特征在于， 所述 时长为所有第 一模型训练时长的中位 数或平均值。 6.一种异步机制的隐私保护联邦装置， 其特征在于： 包括存储器和处理器， 所述存储器 上存储有能够被处 理器加载并执 行如权利要求1至 5中任一种方法的计算机程序。 7.一种计算机可读存储介质， 其特征在于： 存储有能够被处理器加载并执行如权利要 求1至5中任一种方法的计算机程序。权　利　要　求　书 1/2 页 2 CN 115062320 A 28.一种异步机制的隐私保护联邦系统， 包括 服务器、 客户端节点， 其特 征在于： 所述客户端节点具有节点标识符掩码表， 在节点标识符掩码表中， 所述掩码基于标识 符生成， 不同客户端节点对应不同的标识符； 在设置的时长内， 在各个客户端节点上对第一 模型进行本地训练， 对训练好的第一模型， 使用该第一模型所在客户端节点对应的标识符 生成的掩码进 行加密， 获得第一模型密文， 并将第一模型密 文、 第一模型所在客户端节点对 应的标识符和 第一模型所在客户端节点的时间戳 发送给服务器； 在接收到服务器发送的第 二模型密文、 服务器上计算的各个权重、 服务器的时间戳以及所述时长内服务器接 收的所 有客户端节点标识符时， 更新自身时间戳为服务器的时间戳， 并根据服务器接 收的所有客 户端节点标识符， 获得其对应的掩码； 将所述掩码与权重结合获得第二模型密 文的密钥， 从 而解密得到第二模型， 进而判断第二模 型与第一模 型的差值是否满足收敛条件， 若不满足， 则将第二模型作为 新的第一模型， 进行新 一轮训练； 所述服务器在所述时长内， 接收所有客户端发送的第一模型密文、 第一模型所在客户 端节点对应的标识符和第一模型所在客户端节点的时间戳； 根据服务器时间戳和获得的每 一个客户端节点的时间戳的差值， 计算 获得的每一个客户端节点 发送的第一模型密 文对应 权重， 进而利用所述权重对第一模型密文进 行加权聚合， 得到第二模 型密文； 将第二模型密 文、 计算的各个权重、 当前服务器的时间戳以及当前获得 的所有客户端节点标识符下发给 每一个客户端节点， 并更新 服务器时间戳。 9.根据权利要求8所述的系统， 其特 征在于， 所述加权聚合包括下述 步骤： 获取一个未设置 权重的第一模型密文作为当前第一模型密文； 获取当前第一模型密文对应的时间戳差值， 若所述差值小于第一设定值， 则将该第一 模型密文对应的分值设置为1； 否则， 将该第一模型密文对应的分值设置为差值与1的和的 倒数； 若所述差值大于第二设定值， 则将该第一模型密文对应的分值设置为0； 否则， 将该第 一模型密文对应的分值设置为差值与1的和的倒数； 判断是否还有第一模型密文未设置对应的分值； 若还有， 则重新获取一个未设置权重 的第一模型密文作为当前第一模型密文， 按上述步骤进行加权； 否则， 计算所有分值的总 和， 并对每一个第一模型密 文， 用其对应的分值比上总和获得对应的权重， 再计算每一个第 一模型密文乘以其对应权 重后的累加 和， 得到第二模型密文。 10.根据权利要求8所述的系统， 其特征在于， 所述客户端节点和服务器之间的通信信 道经过加密。权　利　要　求　书 2/2 页 3 CN 115062320 A 3