(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210374786.8 (22)申请日 2022.04.11 (71)申请人 北京理工大 学 地址 100081 北京市海淀区中关村南大街5 号 (72)发明人 邢智博　张子剑　李春磊　陆鑫　 魏志远　李臻　刘旭洋　祝烈煌　 (74)专利代理 机构 北京正阳理工知识产权代理 事务所(普通 合伙) 11639 专利代理师 张利萍 (51)Int.Cl. G06N 20/00(2019.01) G06F 21/62(2013.01) G06F 21/60(2013.01) (54)发明名称 一种基于零知识证明的隐私保护与可验证 的联邦学习方法 (57)摘要 本发明涉及一种基于零知识证明的隐私保 护与可验证隐私的联邦学习方法， 属于人工智能 机器学习技术领域， 包括训练任务发布、 本地训 练、 证明生成、 训练结果提交、 训练过程验证和训 练参数聚合。 本发明在联邦学习过程中利用零知 识证明技术， 在不泄露训练者的隐私数据的情况 下向发布 者证明训练过程的正确性。 本发明对于 联邦学习中所使用的训练算法没有限定和要求， 支持对任意训练过程的证明， 使得联邦学习具有 可验证和隐私保护的性质， 提高了联邦学习的安 全性。 同时， 本发明采用了一种将小数机器学习 过程转化为整数机器学习过程的方法， 将复杂的 机器学习过程通过一系列涉及加减乘除的简单 运算的组合表 示， 将机器学习过程和密码学进行 有机的联系与结合。 权利要求书2页 说明书7页 附图2页 CN 114841363 A 2022.08.02 CN 114841363 A 1.一种基于零知识证明的隐私保护与可验证的联邦学习方法， 其特征在于， 包括两类 参与者， 分别是训练任务的发布者和执行具体训练任务的训练者； 其中， 发布 者拥有训练任 务， 能够发布联邦学习任务， 并给予激励； 训练者拥有用于训练的本地隐私数据， 能够通过 隐私数据来完成训练任务， 并获取激励； 设上述两类参与者都是好奇的， 即， 参与者会能够通过得到的信息来推测其他参与者 的隐私数据； 同时， 设训练者是懒惰的， 即， 训练者会尝试在不被发现的情况下以更低的计 算量生成能够通过发布者验证的训练结果； 包括以下步骤： 步骤1： 训练任务发布； 发布者确定训练任务， 通过零知识证 明的初始化算法， 对训练任务进行初始化， 得到用 于生成和验证零知识证明的证明生成密钥和证明验证密钥， 并将 证明生成密钥和具体的训 练任务发送给 所有的训练者； 步骤2： 本地训练； 训练者使用本地隐私数据完成训练任务， 得到更新后的参数并作为训练结果； 同时， 保 存过程中生成的中间数据， 用于生成关于训练过程正确 性的零知识证明， 用以证明所得到 的结果确实是 经由给出的训练任务计算得到的； 步骤3： 证明生成； 训练者使用训练结果、 训练的中间数据， 以及发布者给出的证明生成密钥， 利用零知识 证明的证明生成算法， 生成关于训练过程正确 性的零知识证明， 并将得到的训练结果和相 应零知识证明发回给发布者； 步骤4： 训练过程验证； 发布者使用证 明验证密钥、 训练者给出的训练结果， 以及零知识证 明， 利用零知识证明 的证明验证算法验证训练结果的正确 性； 在这一过程中， 发布者无法得到任何关于训练者 本地隐私数据的额外信息； 步骤5： 训练参数聚合； 发布者和给出正确训练结果的训练者根据训练者的训练结果运行一个多方安全计算 协议， 通过本地训练结果更新得到全局参数； 在这一过程中， 发布 者和训练者均无法得到任 何关于其他训练者本地隐私数据的额外信息； 同时， 发布者根据参与者给出 的证明对聚合 结果进行验证， 检验其与给 出的训练结果对应的结果是否一 致； 至此， 完成一轮训练过程； 发布者选择使用新的全局参数开始下一轮训练， 或者结束训 练。 2.如权利要求1所述的一种基于零知识证明的隐私保护与可验证的联邦学习方法， 其 特征在于， 步骤1中， 训练者采用一种将小数机器学习过程转化为整数机器学习过程的方 法， 先将小数 的机器学习过程转化为相应的整数 的机器学习 过程， 之后使用零知识证明的 初始化算法， 对整数的机器学习过程进行初始化， 包括以下步骤： 第一步： 将机器学习过程中涉及到的复杂运算转换为简单的通过加减乘除运算表达 式； 考虑一个复杂的表达式complex(x)， 其对应的数值近似的展开式 ai表示展权　利　要　求　书 1/2 页 2 CN 114841363 A 2开式中第i项对应的函数表达式； 给定自变量的值为x0， 容许的误差为E， 则该复杂表达式complex(x)在点x0处的简单表 达式为： n表示简单表达式中所包含的展开式的项数； 其中， simple(x)满足|complex(x0)‑simple(x0)|≤E； 第二步： 将机器学习运算过程中产生的小数通过等比例的放缩操作转化成整数， 使整 个机器学习过程变成只包 含整数元素的机器学习过程； 考虑一个只涉及到加、 减、 乘、 除四种简单运算的机器学习算法， 将其看作只包含加、 减、 乘、 除四种简单运算的计算过程， 其中， 对于形如a  op1 b op2 c＝d的长计算式， op为加 法/减法/乘法/除法运算符， 将其拆分为两个短计 算式a op1 b＝e， e op2 c＝d， 该操作称为 展平； 对于整个计算过程进行上述拆分， 将计算过程转化为n个形如ai op bi＝ci的等式， 其 中ai,bi,ci均为有理小数； 设截断位数为l， 对上述等 式中的ai,bi进行l位的小数截断， 即仅 保留小数点后l位， 得到截断后的等式a ′iop b′i＝c′i； 设放大倍数为rat， 对截断后的等式 中的a′i,b′i， c′i进行rat倍的放大， 使其 成为整数， 同时通过添加倍数rat维持等式成立， 得 到元素为整数的等式Ai op Bi＝Ci， 即， 通过整数近似表示的机器学习计算过程， 其中Ai＝ a′i·rat， Bi＝b′i·rat， Ci＝c′i·rat； 考虑乘法与除法的情 况， 将a*b＝c放大为(a ·rat)*(b·rat)/rat＝(c ·rat)， a/b＝c 放大为(a*rat*rat)/(b*rat)＝(c *rat)。 3.如权利要求2所述的一种基于零知识证明的隐私保护与可验证的联邦学习方法， 其 特征在于， 第一 步中确定简单表达式的方法如下： 步骤A： 给定复杂表达式complex(x)， 对应的数值近似的展开式 自变量的值 x0， 容许的误差为E， 简单表达式初始值置为 空simple(x)＝null， i＝1； 其中， 误差E的选取， 由用户根据近似操作对精度的影响的容忍程度自行选取； 步骤B： 计算简单表达式simple(x)+＝ai(x)； 步骤C： 计算简单表达式在x0处的误差， 若|comp lex(x0)‑simple(x0)|≤E， 则 记录当前i 的值作为简单表达式simple(x)的表示， 否则计算 i＝i+1， 并转回步骤B。 4.如权利要求2所述的一种基于零知识证明的隐私保护与可验证的联邦学习方法， 其 特征在于， 第一步中， 对于在机器学习过程中多次调用同一复杂表达式的情况， 通过将 每次 调用复杂 表达式时的输入xj作为自变量取值并输入上述方法， 多次执行上述过程并记录每 次运行结果， 取其中的最大值im a x， 则该复杂表达式对应的简单表达式表示为 该简单表达式满足对于机器学习过程中对该复杂表达式的任意 调用的输入值xj， 均有|complex(xj)‑simple(xj)|≤E， 即， 该简单表达 式simple(x)在机器 学习过程中能够以误差 E近似复杂表达式complex(x)。权　利　要　求　书 2/2 页 3 CN 114841363 A 3