(19)国家知识产权局 (12)发明 专利 (10)授权公告 号 (45)授权公告日 (21)申请 号 202210720602.9 (22)申请日 2022.06.24 (65)同一申请的已公布的文献号 申请公布号 CN 114819196 A (43)申请公布日 2022.07.29 (73)专利权人 杭州金智塔科技有限公司 地址 310012 浙江省杭州市西湖区西斗门 路3号天堂软件园D幢6楼B座 (72)发明人 陈超超　应森辞　郑小林　郑非　 李岩　谢鲁　张建勇　 (74)专利代理 机构 北京智信禾专利代理有限公 司 11637 专利代理师 张瑞 (51)Int.Cl. G06N 20/20(2019.01) G06N 3/08(2006.01)G06F 16/23(2019.01) (56)对比文件 CN 113516255 A,2021.10.19 CN 113657607 A,2021.1 1.16 CN 113095407 A,2021.07.09 CN 114580546 A,202 2.06.03 US 2021158216 A1,2021.0 5.27 CN 112906903 A,2021.0 6.04 孙铭.基于蒸馏数据的多 模型联邦学习. 《中 国优秀硕士学位 论文全文数据库信息科技 辑》 .2022,第2022卷(第03期), Chuhan Wu et al. .Communication- efficient federated learn ing via knowledge disti llation. 《nature communications》 .2022, 审查员 苏晓燕 (54)发明名称 基于噪音蒸馏的联邦学习 系统及方法 (57)摘要 本说明书提供基于噪音蒸馏的联邦学习系 统及方法， 其中所述基于噪音蒸馏的联邦学习系 统包括： 至少两个客户端确定本地业务样本以及 初始业务模 型； 按照预设的约束策略将模型更新 为中间业务模 型； 将本地业务样 本分别输入至初 始业务模型和中间业务模型， 获得初始预测 信息 和中间预测 信息； 基于本地业务样 本对应的本地 样本标签、 初始预测 信息和中间预测 信息对中间 业务模型进行调参， 直至获得满足条件的目标业 务模型； 将该模型对应的参数发送至服务端； 服 务端接收模 型参数； 根据模型参数构建初始全局 业务模型， 以及构建每个模型参数对应的噪音业 务样本； 利用噪音业务样本对初始全局业务模型 进行训练， 直至获得满足业务训练停止条件的目 标全局业 务模型。 权利要求书2页 说明书14页 附图3页 CN 114819196 B 2022.10.28 CN 114819196 B 1.一种基于噪音 蒸馏的联邦学习 系统， 其特 征在于， 包括： 至少两个客户端， 被配置为确定本地语料样本以及初始摘要提取模型； 按照预设的约 束策略对所述初始摘要提取模型进行更新， 获得中间摘要提取模型； 其中， 所述约束 策略使 中间摘要提取模型在多次输入同样的本地语料样本后， 输出不同的摘要； 将所述本地语料 样本分别输入至所述初始摘要提取模型和所述中间摘要提取模型进行 处理， 获得初始摘要 和中间摘要； 基于所述本地语料样本对应的本地样本标签、 所述初始摘要和所述中间摘要 对所述中间摘要提取模型进行调参， 直至获得满足本地训练停止条件的目标摘要提取模 型； 将所述目标摘要提取模型对应的目标模型参数发送至服务端， 其中， 每个客户端根据本 地语料样本和本地样本标签对模型进 行一般训练， 以及根据随机失活机制对中间摘要提取 模型进行蒸馏训练； 所述服务端， 被配置为接收至少两个目标模型参数； 根据所述至少两个目标模型参数 构建初始全局摘要提取模型， 以及构建每个目标模 型参数对应的噪音语料样 本， 其中， 噪音 语料样本用于对初始全局摘要提取模型进 行再次训练； 利用所述噪音语料样本对所述初始 全局摘要提取模型进行训练， 直至获得满足业务训练停止条件的目标全局摘要提取模型， 其中， 初始全局摘要提取模型和噪音语料样本由伪样本生成模块构建， 以及目标全局摘要 提取模型由聚合模块进行蒸馏训练。 2.根据权利要求1所述的系统， 其特征在于， 所述客户端， 进一步被配置为确定所述初 始摘要提取模型中包含的业务处理层； 按照预设的所述约束 策略所述业务处理层中添加调 整层， 根据添加结果 生成所述中间摘要提取模型。 3.根据权利要求1所述的系统， 其特征在于， 所述客户端， 进一步被配置为将所述本地 语料样本输入至所述初始摘要提取模型进行处理， 获得所述初始摘要； 将所述本地语料样 本连续设定次数输入至所述中间摘要提取模型进行处 理， 获得多个中间摘要。 4.根据权利要求3所述的系统， 其特征在于， 所述客户端， 进一步被配置为根据所述初 始摘要、 所述多个中间摘要以及所述本地语料样本对应的本地样本标签计算 目标损失值， 根据所述目标损失值对所述中间摘要提取模型进行调参。 5.根据权利要求4所述的系统， 其特征在于， 所述客户端， 进一步被配置为根据所述本 地语料样本对应的本地样本标签以及每个中间摘要计算中间交叉熵损失值， 以及根据所述 多个中间摘要计算中间相对熵损失值； 根据所述初始摘要和每个中间摘要计算初始相对熵 损失值； 基于所述中间交叉熵损失值、 所述中间相对熵损失值以及所述初始相对熵损失值 确定所述中间摘要提取模型对应的目标损失值； 根据所述目标损失值对所述中间摘要提取 模型进行调参。 6.根据权利要求1所述的系统， 其特征在于， 所述服务端， 进一步被配置为根据所述至 少两个目标模型参数构建至少 两个目标摘要提取模型， 作为所述初始全局摘要提取模型； 按照对应关系策略将所述噪音语料样本输入至每个目标摘要提取模型进 行处理， 获得第一 目标摘要， 以及按照交叉关系策略将所述噪音语料样本输入至每个目标摘要提取模型进 行 处理， 获得第二目标摘要； 根据所述第一 目标摘要和所述第二 目标摘要对每个目标摘要提 取模型分别进行调参， 直至获得满足业 务训练停止条件的所述目标全局摘要提取模型。 7.根据权利要求6所述的系统， 其特征在于， 所述服务端， 进一步被配置为在调参后的 目标摘要提取模型满足所述业务训练停止条件的情况下， 根据调参结果生成每个目标摘要权　利　要　求　书 1/2 页 2 CN 114819196 B 2提取模型对应的初始模型参数； 计算所述初始模型参数 的平均值获得全局模型参数， 并基 于所述全局模型参数构建所述目标全局摘要提取模型。 8.根据权利要求1所述的系统， 其特征在于， 所述服务端， 进一步被配置为构建每个目 标模型参数对应的初始噪音语料样本， 将所述初始噪音语料样本输入至所述初始全局摘要 提取模型进 行处理， 获得初始全局摘要； 对所述初始全局摘要进 行归一化处理， 并根据归一 化处理结果计算所述初始噪音语料样本相对于所述初始全局摘要提取模型的置信损失值； 通过对所述置信损失值进 行求导获得样本更新参数， 并基于所述样本更新参数对所述初始 噪音语料样本进行 更新， 获得 所述噪音语料样本 。 9.根据权利要求1所述的系统， 其特征在于， 所述服务端， 进一步被配置为计算所述至 少两个目标模型参数的平均值获得初始全局模型参数； 根据所述初始全局模型参数构建所 述初始全局摘要提取模型； 将每个目标模型参数对应的噪音语料样本进行整合， 获得全局 噪音语料样本； 利用所述全局噪音语料样本对所述初始全局摘要提取模型进行训练， 直至 获得满足所述 业务训练停止条件的所述目标全局摘要提取模型。 10.一种基于噪音 蒸馏的联邦学习方法， 其特 征在于， 包括： 至少两个客户端确定本地语料样本以及初始摘要提取模型； 按照预设的约束策略对所 述初始摘要提取模型进 行更新， 获得中间摘要提取模型； 其中， 所述约束 策略使中间摘要提 取模型在多次输入同样的本地语料样本后， 输出不同的摘要； 将所述本地语料样本分别输 入至所述初始摘要提取模型和所述中间摘要提取模型进行处理， 获得初始摘要和中间摘 要； 基于所述本地语料样本对应的本地样本标签、 所述初始摘要和所述中间摘要对所述中 间摘要提取模型进行调参， 直至获得满足本地训练停止条件的目标摘要提取模型； 将所述 目标摘要提取模型对应的目标模型参数发送至服务端， 其中， 每个客户端根据本地语料样 本和本地样本标签对模型进行一般训练， 以及根据随机失活机制对中间摘要提取模型进 行 蒸馏训练； 所述服务端接收至少两个目标模型参数； 根据所述至少两个目标模型参数构建初始全 局摘要提取模型， 以及构建每个目标模 型参数对应的噪音语料样本， 其中， 噪音语料样 本用 于对初始全局摘要提取模型进 行再次训练； 利用所述噪音语料样本对所述初始全局摘要提 取模型进 行训练， 直至获得满足业务训练停止条件的目标全局摘要提取模型， 其中， 初始全 局摘要提取模型和噪音语料样本由伪样本生成模块构建， 以及目标全局摘要提取模型由聚 合模块进行蒸馏训练。 11.一种计算设备， 其特征在于， 包括存储器和处理器； 所述存储器用于存储计算机可 执行指令， 所述处理器用于执行所述计算机可执行指令， 以实现权利要求10所述方法的步 骤。 12.一种计算机可读存储介质， 其存储有计算机指令， 其特征在于， 该指令被处理器执 行时实现权利要求10所述方法的步骤。权　利　要　求　书 2/2 页 3 CN 11