(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210744765.0 (22)申请日 2022.06.28 (71)申请人 支付宝 （杭州） 信息技 术有限公司 地址 310000 浙江省杭州市西湖区西溪路 556号8层B段801-1 1 (72)发明人 刘颖婷　王力　王磊　 (74)专利代理 机构 北京亿腾知识产权代理事务 所(普通合伙) 11309 专利代理师 陈霁　周良玉 (51)Int.Cl. G06F 21/62(2013.01) G06K 9/62(2022.01) G06N 3/04(2006.01) G06N 20/00(2019.01) (54)发明名称 针对逻辑回归模型进行联合训练的方法及 装置 (57)摘要 本说明书实施例提供一种多方联合针对逻 辑回归模型进行联合训练的方法及装置， 在多 方 联合利用各自的隐私数据进行逻辑回归模型训 练过程中， 利用多项式、 分段函数等对逻辑斯蒂 函数进行近似计算， 以减少逻辑斯蒂函数计算的 复杂度。 具体地， 针对训练数据的特点， 结合各个 数据持有方所持有的隐私数据的实际情况， 确定 对逻辑斯蒂函数近似计算的不同精度需求， 从而 选择逻辑回归模型中针对逻辑斯蒂函数的近似 方案。 该方式可以兼顾多 方安全计算的逻辑回归 模型准确性和效率需求， 提高多方安全计算场景 下联合训练逻辑回归 模型的有效性。 权利要求书2页 说明书14页 附图3页 CN 115048674 A 2022.09.13 CN 115048674 A 1.一种针对逻辑回归模型进行联合训练的方法， 其中， 所述逻辑回归模型包括逻辑斯 蒂函数， 用于对所述逻辑回归模型进行训练的业务数据包括分布于多个数据方的隐私数 据， 所述方法由所述多个数据方中的第一方 执行， 包括： 基于从本地业务数据中针对各个业务对象分别提取的若干个属性特征， 与其他数据方 基于对属性特征的安全处理， 在使用多个候选近似方案中的第一近似方案代替所述逻辑斯 蒂函数的情况 下， 对所述逻辑回归 模型进行训练； 根据训练结果， 与其他数据方安全确定所述逻辑回归模型的预测值， 以得到所述逻辑 回归模型的预测值的第一分片； 根据所述逻辑回归模型的预测值的第一分片， 与其他数据方安全确定模型损 失， 以基 于模型损失检测所述逻辑回归 模型的收敛性； 基于对所述逻辑 回归模型的收敛性的检测结果， 确定是否在所述多个候选近似方案中 选择第二近似方案代 替所述逻辑斯蒂函数进 行安全计算， 以继续对所述逻辑回归模型进 行 安全联合训练； 并且， 在所述逻辑回归 模型收敛的情况 下， 得到所述逻辑 斯蒂函数的第一 参数分片。 2.如权利要求1所述的方法， 其中， 所述逻辑回归模型的模型收敛性通过以下方式检 测： 与其他数据方联合安全检测所述逻辑 回归模型的参数变化率， 以基于逻辑 回归模型的 参数变化 率检测模型收敛性； 其中， 所述逻辑回归模型的参数变化率包括以下中的至少一项： 模型损失的变化率、 基 于模型损失确定的梯度的变化 率、 基于梯度调整的待定参数的变化 率。 3.如权利要求1所述的方法， 其中， 所述基于从本地业务数据中针对各个业务对象分别 提取的若干个属 性特征， 与其他数据方基于对属 性特征的安全处理， 得到所述逻辑斯蒂函 数的输入变量的第一分片包括： 与其他数据方联合对所述属性特征在多方安全计算前提下进行归一化或标准化处理， 以得到标准 化特征矩阵的第一分片； 基于所述标准化特征矩阵的第一分片， 与其他数据方基于对属性特征的安全处理， 得 到所述逻辑 斯蒂函数的输入变量的第一分片。 4.如权利要求1所述的方法， 其中， 所述第 一近似方案为经由关于所述输入变量的一阶 多项式实现的候选近似方案， 所述一阶多项式为以下中的一项： 泰勒一阶展开多项式、 Minimax一阶多 项式。 5.如权利要求1所述的方法， 其中： 在对所述逻辑 回归模型的收敛性的检测结果为不具有收敛性的情况下， 在所述多个候 选近似方案中选择高于一阶的高阶多项式、 分段函数中的至少一种的候选近似方案作为所 述第二近似方案， 继续对所述逻辑回归 模型进行安全联合训练。 6.如权利要求1所述的方法， 其中， 所述在所述逻辑回归模型收敛的情况下， 得到所述 逻辑斯蒂函数的第一 参数分片包括： 在所述逻辑 回归模型收敛的情况下， 与其他数据方联合检测训练后的逻辑 回归模型的 预测精度； 在所述预测精度不满足预定条件的情况下， 选择针对高于预定阶数的高阶多项式与分权　利　要　求　书 1/2 页 2 CN 115048674 A 2段函数相结合的第三近似方案代替所述逻辑斯蒂函数进行安全计算， 从而与其他数据方按 照所述第三近似方案 重新安全联合训练所述逻辑回归 模型； 直至所述预测精度满足预定条件， 得到所述逻辑 斯蒂函数的第一 参数分片。 7.如权利要求1所述的方法， 其中， 所述方法还 包括： 基于所述逻辑斯蒂函数的第 一参数分片， 与其他数据方在利用第四近似方案代替所述 逻辑斯蒂函数的情况 下安全地对所述逻辑回归 模型进行在分类效果上的系数显著性检验。 8.如权利要求7 所述的方法， 其中， 所述显著性检验通过p值作为检验指标。 9.如权利要求7所述的方法， 其中， 所述第四近似方案为包含所述逻辑斯蒂函数的输入 变量的最小二乘7阶多 项式展开的高阶多 项式。 10.一种针对逻辑回归模型进行联合训练 的装置， 其中， 所述逻辑回归模型包括逻辑斯 蒂函数， 用于对所述逻辑回归模型进行训练的业务数据包括分布于多个数据方的隐私数 据， 所述装置设于所述多个数据方中的第一方， 包括： 训练单元， 配置为基于从本地业务数据中针对各个业务对象分别提取的若干个属性特 征， 与其他数据方基于对属 性特征的安全处理， 在使用多个候选近似方案中的第一近似方 案代替所述逻辑 斯蒂函数的情况 下， 对所述逻辑回归 模型进行训练； 预测值确定单元， 配置为根据训练结果， 与其他数据方安全确定所述逻辑回归模型的 预测值， 以得到所述逻辑回归 模型的预测值的第一分片； 收敛性检测单元， 配置为根据所述逻辑回归模型的预测值的第一分片， 与其他数据方 安全确定模型损失， 以基于模型损失检测所述逻辑回归 模型的收敛性； 参数确定单元， 配置为基于对所述逻辑回归模型的收敛性的检测结果， 确定是否在所 述多个候选近似方案中选择第二近似方案代替所述逻辑斯蒂函数进行安全计算， 以继续对 所述逻辑回归模型进 行安全联合训练， 并且， 在所述逻辑回归模型收敛的情况下， 得到所述 逻辑斯蒂函数的第一 参数分片。 11.一种计算机可读存储介质， 其上存储有计算机程序， 当所述计算机程序在计算机中 执行时， 令计算机执 行权利要求1 ‑9所述的方法。 12.一种计算设备， 包括存储器和 处理器， 其特征在于， 所述存储器中存储有可执行代 码， 所述处 理器执行所述可执行代码时， 实现权利要求1 ‑9所述的方法。权　利　要　求　书 2/2 页 3 CN 115048674 A 3