(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211116424.5 (22)申请日 2022.09.14 (71)申请人 广州大学 地址 510006 广东省广州市大 学城外环西 路230号 (72)发明人 王乐　李钊华　顾钊铨　邓建宇　 谭灏南　张登辉　 (74)专利代理 机构 广州高炬知识产权代理有限 公司 44376 专利代理师 孙明科 (51)Int.Cl. G06F 21/62(2013.01) G06N 3/04(2006.01) G06N 3/08(2006.01) G06K 9/62(2022.01) (54)发明名称 联邦学习过程中模型梯度泄露标签信息的 风险评估方法 (57)摘要 本发明涉及人工智能技术领域， 公开了一种 联邦学习过程中模型梯度泄露标签信息的风险 评估方法， 包括以下步骤： 对L层的梯度 按 行求和得 计算 计算M ＝KC/B； 将 的每一个元 素值遍历一次， 若其 中元素k的值 则将k加入到真实标签 的评估列表中， 且将其 加上M， 否则不变； 不 断取 的最小元素值， 若标签k的梯度 最小， 则将k加入到真实标签的评估列表中， 且将 其 加上M， 否则不变， 直到真实标签的评估 列表中的元素与输入样本的批大小相等为止； 结 束， 真实标签的评估列表即为样本标签列表。 权利要求书1页 说明书6页 附图2页 CN 115495780 A 2022.12.20 CN 115495780 A 1.一种联邦学习过程中模型梯度泄露标签信息的风险评估方法， 其特征在于， 包括以 下步骤： S1： 对L层的梯度 按行求和得 其中 S2： 计算 S3： 计算M＝KC /B； S4： 将 的每一个元素值遍历一次， 若其中元素k的值 则将k加入到真 实标签的评估列表中， 且将其 加上M， 否则不变； S5： 不断取 的最小元素值， 若标签k的梯度 最小， 则将k加入到真实标签的 评估列表中， 且将其 加上M， 否则不变， 直到真实标签的评估列表中的元 素与输入样本 的批大小相等 为止； S6： 结束， 真实标签的评估列表即为样本标签列表。 2.根据权利要求1所述的联邦学习过程中模型梯度泄露标签信息的风险评估方法， 其 特征在于： 所述S1中K为标签个数， 且其等于分类层神经元个数， n[L‑1]为分类层前一层的输 出元素个数， 3.根据权利要求1所述的联邦学习过程中模型梯度泄露标签信息的风险评估方法， 其 特征在于： 所述S2中取 的最大元素值作为C 。 4.根据权利要求1所述的联邦学习过程中模型梯度泄露标签信息的风险评估方法， 其 特征在于： 所述S3中B为输入样本的批大小。权　利　要　求　书 1/1 页 2 CN 115495780 A 2联邦学习过 程中模型梯度泄 露标签信息的风险评估方 法 技术领域 [0001]本发明涉及人工智能技术领域的联邦学习数据隐私保护领域， 具体涉及一种联邦 学习过程中模型梯度泄 露标签信息的风险评估方法。 背景技术 [0002]随着信息处理能力和计算效率的显著提升， 涌现了大量针对图像、 文本、 语音等数 据进行处理的基于深度学习的应用。 深度学习模型和应用依赖于大量高质量的数据， 然而， 现实中很少有 单一的实体单位拥有大量数据， 数据量少或是质量低都难以支撑深度学习模 型的构建和应用。 若将各个实体单位所拥有的相关数据收集在一起， 又涉及到数据版权、 隐 私保护等问题。 因此， 以聚集形成规模 数据效应、 保护数据版权和隐私为初 衷的联邦学习模 型被设计出来并逐步得到应用。 联邦学习是一个多参与方或多计算结点之 间共享聚合机器 学习模型梯度参数而不直接交换数据的分布式深度学习框架， 以解决 “数据共享与隐私保 护的矛盾 ”问题。 [0003]然而在利用联邦学习进行多参与方模型训练时， 参与方所共享的模型梯度被证实 存在泄漏输入样本信息的风险， 尤其是输入样本的标签。 样本的标签不仅会泄漏参与方 的 训练样本分布情况， 可能会引起商业秘密泄露和数据隐私保护的法律问题， 甚至为数据窃 取者打开方便之门， 进一步窥探出输入样本的特征信息， 因此保护输入样本的标签十分重 要。 本发明提出了一种新的梯度 泄露标签的风险评估方法， 可以满足联邦学习参与方在共 享模型梯度前， 利用该评估方法评估样本标签的泄露情况， 并进一步有助于评估隐私保护 策略的有效性。 [0004]现有的技 术方案如下： [0005]方案1:通过随机初始化一个伪样本(x*,y*)， 并输入到目标模型中获得伪梯度 计算伪梯度与目标梯度 之间的L2距离， 通过Adam算法来最小化L2距离， 从而 更新伪样本， 实现伪样本的标签y*尽可能地接 近输入样本的标签y。 [0006]方案2:通过对分类层权重梯度 进行如下公式计算而得。 其中 表示该 层的第k个神经元输出与前一层第i个神经元输出 的连接权重的梯度， 存在一个标签 k， 其中任取一个标签m， 当满足下式时， 说明标签k是 该方案推测的输入样本标签。 [0007] [0008]方案3:通过对分类层权重梯度 进行如下公式计算而得。 对 的每一行 取最小值， 并比较各 行之间的大小， 取最小的前B个标签作为推测的输入样本标签。 [0009] [0010]上述现有技 术的缺点如下：说　明　书 1/6 页 3 CN 115495780 A 3