(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210359699.5 (22)申请日 2022.04.06 (71)申请人 湘潭大学 地址 411105 湖南省湘潭市雨湖区湘潭大 学 (72)发明人 裴廷睿　马盛豪　李哲涛　曹江莲　 李艳春　龙赛琴　 (51)Int.Cl. G06F 21/60(2013.01) G06F 21/62(2013.01) G06N 20/00(2019.01) (54)发明名称 一种基于三方同态加密纵向联邦学习的模 型保护方法 (57)摘要 针对目前联邦学习不同参与者在私人数据 训练模型的过程中的隐私泄露问题， 本发明提出 了一种基于三方同态加密纵向联邦学习的模型 保护方法。 本发明步骤： 首先， 在传统纵向联邦学 习系统中提出了一种分类交叉熵损失函数， 它在 客户端而不是集中式服务器上部署基于梯度的 优化器， 优化目标是最小化针对 标签的分类交叉 熵损失； 然后参与训练的双方采用隐私保护实体 对齐技术获得双方共同的ID进行联邦模 型训练， 确保系统双方不会暴露各自原始数据； 最后， 在 加密模型训练阶段采用半同态加密进行加解密 双方交换的部分梯度， 使 得存储的标签不会离开 本地。 本发明提供了系统的理论性能， 显著降低 了通信成本， 还为数据提供了 较强的隐私保护。 权利要求书2页 说明书5页 附图3页 CN 114936372 A 2022.08.23 CN 114936372 A 1.一种基于三方同态加密纵向联邦学习的模型保护方法， 所述方法至少包括以下步 骤： 步骤一、 通过将数据集拆分为图像数据集和标签数据集来创建垂直分区的数据集， 给 每个数据点(图像和标签)分配一个唯一的ID空间； 步骤二、 根据纵向联邦学习中的主动方A和被动方B唯一的ID空间采用隐私保护实体解 析协议进行 标识对齐操作， 找出参与者共享的ID空间I， 也 就是标识的交集； 步骤三、 利用共有的样本ID空间I对本地模型进行训练， 服务端VFL  Server将共享ID空 间I分成大小为n的批次， 被动方B生成公私钥对(pk,sk)， 并把公钥pk发送给主动方A， 被动 方B计算自身共享模 型的概率分布输出， 使用半同态加密的公钥对部 分梯度进 行加密， 然后 将概率分布输出和 加密梯度一同发送给主动方A； 步骤四、 主动方A计算自身共享模型的概率分布输出， 计算平均共享模型概率分布， 求 得最小化针对标签的分类交叉熵损失， 计算自身梯度， 通过具有梯度的指定优化器更新客 户端权重， 然后将损失函数发送服 务端VFL Server并记录下来； 步骤五、 主动方A通过加密的部分梯度组合得到被动方B的加密梯度值， 然后将加密后 的梯度发送回给第二参与方， 随后被动方B使用私钥sk解密得到梯度， 被动方B通过具有梯 度的指定优化器更新客户端权重， 联邦学习训练过程直到模型收敛或者达到最大迭代才予 以终止。 2.根据权利要求1所述的一种基于三方同态加密纵向联邦学习的模型保护方法， 其特 征在于： 所述的创建垂直分区的数据集， 即数据集被垂直分区并分布在两个诚实但好奇的 隐私参与方A(具有 特征和标签的访客数据提供者)和B(仅具有 特征的主机数据提供者)上， X∈Rn×m为由m个数据样本组成的数据集， 每个实例具有N个特征， 所以XA∈Rn×m是主动方A拥 有的数据集， XB∈Rn×m是被动方B拥有的数据集， 每 一方都拥有X＝(XA,XB)的公共样本 ID上的 数据特征的不相交子集。 3.根据权利要求1所述的一种基于三方同态加密纵向联邦学习的模型保护方法， 其特 征在于： 所述的隐私保护实体解析协 议进行标识对齐操作， 即使用加密长期密钥(CLK)匿名 链接代码， CLK是多个个人标识符的布隆过滤器编码， 在来自数据方XA,XB被接收， VFL   Server通过计算所有可能的CLK对的Dice系数来匹配它们， 从而产生等于数据集大小乘积 的比较次数， 以贪婪方式选择最相似的配对作为匹配。 4.根据权利要求1所述的一种基于三方同态加密纵向联邦学习的模型保护方法， 其特 征在于： 所述的一种分类交叉熵损失函数 的方法， 即主要用于度量两个概率分布间的差异 性信息， 交叉熵是表 示两个概率分布p,q， 其中p表 示真实分布， q表 示非真实分布， 在相同的 一组事件中， 用非真实分布q来表示某个事件发生所需要的平均比特数， 对于离散变量情况 下的交叉熵的计算方式为 损失函数对目标的导数也就是梯 度的计算 运用链式法则计算公式为： 5.根据权利要求1所述的一种基于三方同态加密纵向联邦学习的模型保护方法， 其特权　利　要　求　书 1/2 页 2 CN 114936372 A 2征在于： 所述的半同态加密系统， 即任何一方都可以使用已知的公钥加密他们的数据， 并使 用其他人使用相同公钥加密的数据进行计算， 要提取明文， 需要将结果发送给私钥的持有 者， 用 来表示对明文u的同态加密结果， 定义同态加密的两个基本操作， 分别是加法同态 加密和乘法同态加密， 而 “+”和“·”表示运算符， 对于在明文空间M中的任意两个元素u和 υ， 其加法同态运算满足： 同理乘法同态加密满 足： 其中Decsk(·)表示使用私钥sk作为解密密钥 的解密函数。 6.一种2PC纵向联邦学习系统， 其特征在于， 所述的架构包括： VFL  Server服务端、 本地 客户端分为主动方A和被动方B， VFL  Server是一个纵向联邦学习 服务器， 主要用于协助双 方联合训练各自模型并更新迭代， 主动方A不仅拥有相应 的数据集XA还拥有数据的标签y， 被动方B只拥有数据集XB， 主动方A和被动方B不能直接交换数据， 而只有本地预测的标签y 可以越过隐私障碍到达VFL服务器， 此外VFL系统的训练过程一般由加密实体对齐和加密 模 型训练两 部分组成。权　利　要　求　书 2/2 页 3 CN 114936372 A 3