(19)国家知识产权局 (12)发明 专利 (10)授权公告 号 (45)授权公告日 (21)申请 号 202210642466.6 (22)申请日 2022.06.08 (65)同一申请的已公布的文献号 申请公布号 CN 114741611 A (43)申请公布日 2022.07.12 (73)专利权人 杭州金智塔科技有限公司 地址 310012 浙江省杭州市西湖区西斗门 路3号天堂软件园D幢6楼B座 (72)发明人 郑小林　葛阳　陈超超　李岩　 谢鲁　张建勇　朱明杰　 (74)专利代理 机构 北京智信禾专利代理有限公 司 11637 专利代理师 李琪 (51)Int.Cl. G06F 16/9535(2019.01)G06F 21/60(2013.01) G06F 21/62(2013.01) (56)对比文件 CN 113626687 A,2021.1 1.09 CN 112329940 A,2021.02.0 5 CN 113837399 A,2021.12.24 CN 113159289 A,2021.07.23 CN 111814985 A,2020.10.23 CN 114564641 A,202 2.05.31 CN 113645197 A,2021.1 1.12 CN 113626687 A,2021.1 1.09 WO 2021121106 A1,2021.0 6.24 CN 110442457 A,2019.1 1.12 审查员 何蒙蒙 (54)发明名称 联邦推荐模型训练方法以及系统 (57)摘要 本说明书实施例提供联邦推荐模型训练方 法以及系统， 其中所述联邦推荐模 型训练方法包 括： 响应于至少两个客户端的联邦推荐模型训练 任务的处理请求， 确定每个客户端的训练迭代次 数， 并将所述联邦推荐模型的初始化参数及所述 训练迭代次数分别对应发送至所述每个客户端， 接收所述每个客户端加密上传的梯度信息及模 型精度， 其中， 所述梯度信息及所述模型精度由 每个客户端基于所述训练迭代次数及本地的历 史对象推荐数据， 对所述初始化参数进行迭代更 新生成的更新结果确定， 根据所述梯度信息及所 述模型精度确定所述联邦推荐模 型的目标参数， 以基于所述目标参数生成所述联邦 推荐模型。 权利要求书3页 说明书17页 附图6页 CN 114741611 B 2022.10.14 CN 114741611 B 1.一种联邦推荐模型训练方法， 应用于中心服 务器， 包括： 响应于至少两个客户端的联邦推荐模型训练任务的处理请求， 确定每个客户端的第 一 迭代次数， 并将所述联邦推荐模型的初始化参数及所述第一迭代次数分别对应发送至所述 每个客户端； 接收所述每个客户端加密上传的第一梯度信息及第一模型精度， 其中， 所述第一梯度 信息及所述第一模型精度由每个客户端基于所述第一迭代次数及本地的用户属性信息、 用 户对对象的历史浏览、 点击、 收藏信息以及为用户进 行对象推荐的历史推荐数据， 对所述初 始化参数进行迭代更新 生成的更新结果确定； 根据所述第一梯度信息进行模型聚合， 生成第一中间联邦推荐模型， 将所述第一中间 联邦推荐模型发送至所述每 个客户端； 接收所述每个客户端加密上传的第二模型精度， 其中， 所述第二模型精度由所述每个 客户端将本地的测试数据输入所述第一中间联邦推荐模型获得的输出结果确定， 其中， 所 述测试数据包括用户属性信息、 用户对对象的历史浏览、 点击、 收藏信息以及为用户进行对 象推荐的历史推荐数据； 根据所述第 一模型精度和所述第 二模型精度， 对所述第 一中间联邦推荐模型的模型参 数进行调整， 生成第二中间联邦推荐模型； 根据所述第一模型精度及所述第二模型精度， 确定所述每个客户端的第二迭代次数， 并将所述第二迭代次数及所述第二中间联邦推荐模型的模型参数发送至所述每 个客户端； 接收所述每个客户端加密上传的第二梯度信息及第三模型精度， 其中， 所述第二梯度 信息及所述第三模型精度由每个客户端基于所述第二迭代次数及本地的用户属性信息、 用 户对对象的历史浏览、 点击、 收藏信息以及为用户进 行对象推荐的历史推荐数据， 对所述第 二中间联邦推荐模型的模型参数进行迭代更新 生成的更新结果确定； 根据所述第 二梯度信 息及所述第 三模型精度确定所述联邦推荐模型的目标参数， 以基 于所述目标参数生成所述联邦推荐模型， 其中， 所述联邦推荐模型用于 向用户进行对 象推 荐。 2.根据权利要求1所述的联邦推荐模型训练方法， 还 包括： 根据所述每 个客户端的所述第一梯度信息， 确定所述每 个客户端的模型贡献度； 根据所述模型贡献度确定所述联邦推荐模型的目标参数。 3.根据权利要求2所述的联邦推荐模型训练方法， 所述根据所述每个客户端的所述第 一梯度信息， 确定所述每 个客户端的模型贡献度， 包括： 将所述第一梯度信 息进行加和平均， 生成所述第 一中间联邦推荐模型的第 一目标梯度 信息； 基于所述每个客户端的第 一梯度信 息在所述第 一目标梯度信 息的投影值， 确定所述每 个客户端的第一模型贡献度。 4.根据权利要求3所述的联邦推荐模型训练方法， 所述基于所述每个客户端的第一梯 度信息在所述第一目标梯度信息的投影值， 确定所述每 个客户端的第一模型贡献度， 包括： 对所述每个客户端的第 一梯度信 息在所述第 一目标梯度信 息的投影值进行求和， 生成 第一计算结果； 确定目标客户端的投影值与 所述第一计算结果的比值， 并将所述比值确定为所述目标权　利　要　求　书 1/3 页 2 CN 114741611 B 2客户端的第一模型贡献度， 其中， 所述目标客户端为所述每 个客户端之一。 5.根据权利要求3所述的联邦推荐模型训练方法， 所述根据所述第一梯度信息进行模 型聚合， 生成第一中间联邦推荐模型， 包括： 基于所述每个客户端的第 一梯度信 息以及所述第 一模型贡献度， 确定所述联邦推荐模 型的第二目标梯度信息； 基于所述第二目标梯度信息对所述初始化参数进行更新， 生成第一中间联邦推荐模 型。 6.根据权利要求1所述的联邦推荐模型训练方法， 所述根据所述第一模型精度和所述 第二模型精度， 对所述第一中间联邦推荐模型的模型参数进行调整， 包括： 确定所述第 二模型精度与 所述第一模型精度的差值， 生成所述每个客户端对应的模型 精度变化 值； 在所述模型精度变化 值中确定满足预设条件的目标模型精度变化 值； 基于所述目标模型精度变化值及所述每个客户端对应的模型精度变化值， 确定所述每 个客户端对应的第二模型贡献度； 根据所述第二模型贡献度对所述第一中间联邦推荐模型的模型参数进行调整。 7.根据权利要求1所述的联邦推荐模型训练方法， 还 包括： 在所述第二中间联邦推荐模型满足训练停止条件的情况下， 将所述第 二中间联邦推荐 模型确定为所述联邦推荐模型的训练结果； 在所述第二中间联邦推荐模型不满足训练停止条件的情况下， 执行所述根据 所述第一 模型精度及所述第二模型精度， 确定所述每 个客户端的第二迭代次数的步骤。 8.根据权利要求1所述的联邦推荐模型训练方法， 还 包括： 确定所述第 一中间联邦推荐模型的第 一目标精度， 并在所述每个客户端的第 一迭代次 数中确定满足预设条件的第一预设迭代次数和第二预设迭代次数； 基于所述第一目标精度、 所述第一迭代次数、 所述第一预设迭代次数以及所述第二预 设迭代次数， 确定所述每 个客户端的第二迭代次数。 9.根据权利要求8所述的联邦推荐模型训练方法， 所述基于所述第 一目标精度、 所第 一 迭代次数、 所述第一预设迭代次数以及所述第二预设迭代 次数， 确定所述每个客户端的第 二迭代次数， 包括： 计算所述第一预设迭代次数及所述第二预设迭代次数的差值， 其中， 所述第一预设迭 代次数大于等于所述第二预设迭代次数； 将所述第一目标精度与所述第一迭代次数的比值作为指数， 输入目标指数函数， 获得 所述目标指数函数的函数值； 基于所述第 一预设迭代次数、 所述函数值、 所述差值及至少一个参数值， 确定所述每个 客户端的第二迭代次数。 10.根据权利要求9所述的联邦推荐模型训练方法， 所述基于所述第一预设迭代次数、 所述函数值、 所述差值及至少一个参数值， 确定所述每 个客户端的第二迭代次数， 包括： 确定所述差值与第一 参数值的乘积， 生成第二计算结果； 对所述函数值与第二 参数值进行求和， 生成第三计算结果； 确定所述第 二计算结果与 所述第三计算结果的比值， 并将所述第 一迭代次数与所述比权　利　要　求　书 2/3 页 3 CN 114741611 B 3