(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210763482.0 (22)申请日 2022.06.30 (71)申请人 云南电网有限责任公司信息中心 地址 650000 云南省昆明市拓东路73号 (72)发明人 李辉　毛正雄　保富　原野　张梅　 赵晓平　张航　 (74)专利代理 机构 西安通大专利代理有限责任 公司 6120 0 专利代理师 张宇鸽 (51)Int.Cl. H04L 9/08(2006.01) H04L 9/40(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 基于横向LSTM联邦学习的企业电力负荷联 合预测方法及系统 (57)摘要 本发明公开了一种基于横向LSTM联邦学习 的企业电力负荷联合预测方法及系统， 本发明采 用联邦学习的方法保证数据不出本地， 同时可以 联合多方数据， 增加数据的多样性， 提高模型的 泛化能力和效用性。 利用Paillier同态加密有效 的防止恶意用户根据中间参数信息推断参与者 的原始信息， 因此， 同态加密方法提高了参与方 数据的安全性， 同时充分挖掘历史数据信息， 高 效准确的分析电力负荷。 权利要求书4页 说明书9页 附图3页 CN 115134077 A 2022.09.30 CN 115134077 A 1.基于横向LSTM联邦学习的企业电力负荷联合预测方法， 其特 征在于， 包括： 步骤1、 密钥生成； 基于LSTM模型参数， 生成公私密钥{pk,sk}， 并将公钥pk进行广播所 有的参与方； 步骤2、 模型初始化； 初 始化每轮迭代中各个参与方的本地迭代次数E(E∈Z+)， 全局迭代 次数j＝0， LSTM模型的参 数wj和学习率 η， 并将LSTM模型的参数wj、 学习率 η和全局迭代次数j 广播给所有的参与方； 步骤3、 本地迭代更新； 基于LSTM模型的参数wj、 学习率η和全局 迭代次数j， 对参与方的 本地数据进行训练， 经本地迭代E(E∈Z+)次后， 得到更新的LSTM模型； 步骤4、 加密； 基于Paillier加法同态加密和本地的公钥pk， 对更新的LSTM模型加密， 得 到密文； 步骤5、 接收模型参数， 对更新的LSTM模型参数和迭代次数进行广播， 并接收参与方上 传的更新密文， 当接收K个密文后， 聚合接收的密文， 并通知其他未上传更新的参与方停止 进行本地迭代； 步骤6、 更新全局模型； 基于私钥sk解密接收的密文， 根据参与方本地使用的数据量加 权聚合模型更新， 更新全局迭代次数j ←j+1， 将聚合结果和更新的迭代 次数广播给所有的 参与者； 步骤7、 迭代更新； 重复步骤3 ‑6， 直至全局迭代次数j大于设定的阈值， 模型训练完成， 各个参与者均获得最终的全局模型。 2.根据权利要求1所述的基于横向LSTM联邦学习的企业电力负荷联合预测方法， 其特 征在于， 所述步骤1、 步骤2、 步骤5和步骤6、 为服务器的工作； 所述步骤3和步骤4为参与方的 工作； 所述步骤3还包括： 参与方接收服务器广播的模型参数和全局迭代 次数j； 所述步骤4 还包括： 参与方将密文上传至服 务器。 3.根据权利要求2所述的基于横向LSTM联邦学习的企业电力负荷联合预测方法， 其特 征在于， 所述基于LSTM模型参数， 生成公私密钥{pk,sk}， 具体为： 步骤1.1、 基于LSTM模型参数中的每个分量通过乘以 ±10n， 并化成正整数， 记其中最大 的正整数为M， 选取两个质数p和q， 保证pq>2M； 步骤1.2、 计算 N＝pq和 λ＝ lcm(p‑1,q‑1)； 并选取g＝ N+1； 其中， 函数lcm表示计算两个数字 的最大公因数， sk＝λ为服务器生成的私钥， pk＝(N, g)为服务器生成的公钥。 4.根据权利要求3所述的基于横向LSTM联邦学习的企业电力负荷联合预测方法， 其特 征在于， 所述 步骤3， 具体为： 步骤3.1、 在第j轮迭代中， 第i(i∈[P])个参与者接收服务器广播的LSTM模型， 记为 其中k是本地迭代的次数， k初始化 为0； 步骤3.2、 第i个参与者随机抽取本地mi个数据 步骤3.3、 参与者i利用解密的LSTM模型训练抽取的mi个数据， 分别得到mi个梯度 权　利　要　求　书 1/4 页 2 CN 115134077 A 2对mi个梯度 进行求平均值， 得到 本地数据的无偏梯度： 步骤3.4、 更新本地模型 步骤3.5、 更新本地迭代次数k ←k+1； 步骤3.6、 重复上述 步骤E次， 得到最终的本地更新 5.根据权利要求4所述的基于横向LSTM联邦学习的企业电力负荷联合预测方法， 其特 征在于， 所述基于Paillier加法同态加密和本地的公钥pk， 对更新的LSTM模型加密， 得到密 文； 具体为： 步骤4.1、 选取任意的 步骤4.2、 分别对模型wj中的每个分量 进行加密， 若 为正整数， 则直接加密该分量 得到分量 的密文 若 为正浮点数， 则将 扩大10n倍， 使其变成整数 然后进行加密 将加密结果缩小10n倍得到密文 若 为负数， 则将对模型wj中的每个分量 进行预处理， 具体为， 对模型参数的每一 个分量 进行处理得到正数 对正数 进行加密得到相应的密文 步骤4.3、 将各个密文 按照分量 的位置重组向量得到模型wj的密文Enc (wj)。 6.根据权利要求5所述的基于横向LSTM联邦学习的企业电力负荷联合预测方法， 其特 征在于， 所述基于私钥sk解密接 收的密文， 根据参与方本地使用的数据量加权聚合模型更 新， 具体为： 步 骤 6 .1 、服 务 器 根 据 私 钥 s k 分 别 解 密 接 收 到 的 K 个 加 密的 模 型 参 数 得到 步骤6.2、 服 务器根据参与者本地使用的数据量加权聚合模型参数， 聚合 规则为权　利　要　求　书 2/4 页 3 CN 115134077 A 3