(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211250872.4 (22)申请日 2022.10.13 (71)申请人 合肥本源物联网科技有限公司 地址 230000 安徽省合肥市经济技 术开发 区宿松路以东、 观海路以北智能装备 科技园A区1栋108 (72)发明人 张洋　方晨　石雷　丁小宇　 钱定军　 (74)专利代理 机构 合肥和瑞知识产权代理事务 所(普通合伙) 34118 专利代理师 王挺 (51)Int.Cl. G06N 20/20(2019.01) G06F 9/50(2006.01) (54)发明名称 边缘计算场景下基于模型分割的同步联邦 学习加速方法 (57)摘要 本发明公开了边缘计算场景下基于模型分 割的同步联邦学习加速方法， 涉及联邦学习和边 缘计算的技术领域， 同步联邦学习中， 每个终端 设备均会选择一个 分割点对模型进行分割， 并选 择一个边缘服务器进行匹配， 终端设备计算模型 的前半部分， 并将模型的后半部分计算任务发送 到所匹配边缘服务器上， 利用所匹配边缘服务器 计算模型的后半部分； 通过对每个终端设备的模 型分割策略和边缘服务器匹配策略进行优化， 确 定每个终端设备所选择的分割点 以及所匹配的 边缘服务器， 使得同步联邦学习的模 型训练完成 总时间最小化。 本发明将同步联邦学习、 边缘计 算、 模型分割相结合， 降低终端设备之间计算资 源的差异， 减少同步联邦学习的整体训练时间。 权利要求书4页 说明书10页 附图1页 CN 115329989 A 2022.11.11 CN 115329989 A 1.边缘计算场景下基于模型分割的同步联邦学习加速方法， 其特征在于， 采用n个终端 设备和m个边 缘服务器进行同步联邦学习； 同步联邦学习中， 每个终端设备均会选择一个分割点对模型进行分割， 将模型分割为 前半部分和 后半部分， 并从m个边缘服务器中选择一个边缘服务器进 行匹配， 终端设备计算 模型的前半部分， 并将模型 的后半部分计算任务发送到所匹配边缘服务器上， 利用所匹配 边缘服务器计算模型的后半部分； 对每个终端设备的模型分割策略和边缘服务器匹配策略进行优化， 即确定每个终端设 备所选择的分割点以及所匹配的边缘服务器， 使得同步联邦学习的模型训练完成总时间最 小化。 2.根据权利要求1所述的边缘计算场景下基于模型分割的同步联邦学习加速方法， 其 特征在于， 每个终端设备的模型分割策略和边缘服务器匹配策略的确定方法具体如下所 示： S31， 构建 分割点集合P； S32， 基于分割点集合P， 初始化每个终端设备的模型分割策略和边缘服务器匹配策略， 在初始化的策略下， 计算各个终端设备执行单次迭代的模型训练时间即单次训练时间， 以 及计算同步联邦学习的单次迭代时间； S33， 根据各个终端设备的单次训练时间， 找出单次迭代时间最大的终端设备， 并根据 边缘服务器匹配策略， 找出单次迭代时间最大 的终端设备所匹配的边缘服务器， 将单次迭 代时间最大的终端设备用E1max表示， 终端设备E1max所匹配的边 缘服务器用S1max表示； 根据边缘服务器选择策略， 确定所有与S1max相匹配且先于E1max到达S1max的终端设 备， 并从所有与S1max相匹配且先于E1max到达S1max的终端设备中任意选择一个终端设备 作为设备 e1； S34， 为设备e1重新匹配边缘服务器， 从除S1max之外的其他边缘服务器中任意选择一 个边缘服务器与设备 e1相匹配， 并从分割点 集合P中为设备 e1重新选择分割点； 若设备e1重新匹配边缘服务器以及重新选择的分割点使得设备e1的单次训练时间减 少， 则进入步骤S35； 否则继续执行步骤S34， 继续为设备e1重新匹配边缘服务器， 并为设备 e1重新选择分割点， 直至使得设备 e1的单次训练时间减少； S35， 若步骤S34的操作使得同步联邦学习的单 次迭代时间减少， 则 进入步骤S36； 否则， 跳转步骤S34， 继续为设备e1重新匹配边缘服务器， 并为设备e1重新选择分割点， 直至使得 设备e1的单次训练时间和联邦学习的单次迭代时间均减少， 再进入步骤S3 6； 若将设备e1与除S1max之外的所有其他边缘服务器均进行匹配并重新选择分割点后， 仍不能使得设备e1的单次训练时间和联邦学习的单次迭代时间均减小， 则跳转执行步骤 S33， 从所有与S1max相匹配的终端设备中重新选择一个终端设备作为设备e1， 并继续执行 步骤S34～S35， 直至使得设备e1的单次训练时间和联邦学习的单次迭代时间均减小， 再进 入步骤S3 6； 若从所有与S1max相匹配的终端设备中选择完所有终端设备作为设备e1， 仍不能使得 设备e1的单次训练时间和联邦学习的单次迭代时间均减小， 则跳转 步骤S37； S36， 按照步骤S34的方式更新设备e1的模型分割策略和边缘服务器匹配策略后， 并计 算各个终端设备的单次训练时间， 以及联邦学习的单次迭代时间；权　利　要　求　书 1/4 页 2 CN 115329989 A 2S37， 再次找出单次迭代时间最大的终端设备， 并根据边缘服务器匹配策略， 再次找出 单次迭代时间最大的终端设备所匹配的边缘服务器， 将再次找出的单次迭代时间最大的终 端设备用E2max表示， 终端设备E2max所匹配的边 缘服务器用S2max表示； 根据边缘服务器匹配策略， 确定所有与S2max不相匹配的终端设备， 从所有与S2max不 相匹配的终端设备中任意选择一个终端设备作为设备e2， 且设备e2所匹配的边缘服务器为 Se2； S38， 将E2max所匹配的边缘服务器Se2max与设备e2所匹配的边缘服务器Se2相交换， 即 将E2max与边缘服务器Se2匹配， 将设备e2与边缘服务器Se2max匹配， 且从分割点集合P中分 别为E2max和设备 e2重新选择分割点； 若E2max和设备e2重新的选择分割点使得E2max和设备e2的单次训练时间均减少， 则 进 入步骤S39； 否则继续执行步骤S38， 继续为E2max和设备e2重新选择分割点， 直至使 得E2max 和设备e2的单次训练时间均减少， 进入步骤S39； 若E2max和设备e2重新的选择分割点始终不能使得E2max和设备e2的单次训练时间均 减少， 则跳转步骤S37， 从所有与S2max不相匹配的终端设备中重新选择一个终端设备作为 设备e2， 并继续执 行步骤S38； S39， 若步骤S38的操作使得同步联邦学习的单次迭代时间减少， 则进入步骤S310； 否 则， 跳转步骤S37， 从所有与S2max不相匹配的终端设备中重新选择一个终端设备作为设备 e2， 并继续执行步骤S38～S39， 直至使得E2max的单次训练时间、 设备e2的单次训练时间、 联 邦学习的单次迭代时间均减少， 再进入步骤S310； 若从所有与S2max不相匹配的终端设备中选择完所有终端设备作为设备e2， 仍不能使 得E2max的单次训练时间、 设备e2的单次训练时间、 联邦学习的单次迭代时间均减少， 则跳 转步骤S311； S310， 按照步骤S38的方式更新设备e2的模型分割策略和边缘服务器匹配策略后， 并计 算各个终端设备的单次训练时间， 以及联邦学习的单次迭代时间， 跳转步骤S33， 进行下一 轮优化； S311， 表示联邦学习的单次迭代时间无法继续减少， 此时的各个终端设备模型分割策 略和边缘服务器匹配策略即为 最优解。 3.根据权利要求1所述的边缘计算场景下基于模型分割的同步联邦学习加速方法， 其 特征在于， 将终端设备用E表 示， Ei表示第i个终端设备， i=1,2...n； 将边缘服务器用S表示， Sj表示第j个边缘服务器， j=1,2...m； 第i个终端设备Ei选择的分割点为Ri， 即模型在第Ri 层分割， 将模型分割为前Ri层即前半部分和后V ‑Ri层即后半部分， Ri=1,2,..V， 模型共有V 层； 第i个终端设备Ei选择第zi个边 缘服务器Szi进行匹配， zi=1,2,. ..m； 第i个终端设备Ei的单次训练时间ti的计算方式为： ti=ti_E+ti_S+ti_t rans+ti_w+ti_up； 其中， ti_E为模型的前Ri层在终端设备Ei上的计算时间； ti_S为模型的后V ‑Ri层在终 端设备Ei所匹配边缘服务器Szi上的计算时间； ti_trans为中间数据传输时间， 即模 型的第 Ri层与第Ri+1层之间的中间数据在终端设备和边缘服务器之间传输所需的时间； t i_w为模 型的后V‑Ri层计算任务在终端设备Ei所匹配边缘服务器Szi上的等待时间； t i_up为终端设 备Ei的模型参数 上传时间。权　利　要　求　书 2/4 页 3 CN 115329989 A 3