(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210421521.9 (22)申请日 2022.04.21 (71)申请人 中国联合网络通信集团有限公司 地址 100033 北京市西城区金融大街21号 (72)发明人 杨文聪　杨文强　贾淑霞　 (74)专利代理 机构 北京中博世 达专利商标代理 有限公司 1 1274 专利代理师 申健 (51)Int.Cl. H04W 28/02(2009.01) H04L 67/10(2022.01) H04L 67/12(2022.01) G06F 9/445(2018.01) (54)发明名称 一种卸载策略确定方法、 装置、 电子设备及 存储介质 (57)摘要 本申请公开了一种卸载策略确定方法、 装 置、 电子设备及存储介质， 涉及通信技术领域， 用 以解决现有卸载策略制定过程中未考虑到终端 的移动性的问题， 包括： 根据预设算法， 确定终端 对于M个计算任务的初始卸载策略； 其中， 初始卸 载策略用于指示终端将P个计算任务卸载至云服 务器， P为自然数； 确定至少一个第一计算任务的 迁移成本； 其中， 第一计算任务为M个计算任务 中， 在终端发生基站切换后需要进行迁移的计算 任务； 根据至少一个第一计算任务的迁移成本， 确定初始卸载策略的损耗函数； 根据损耗函数和 预设算法， 对初始卸载策略进行优化， 以确定最 终卸载策略。 本申请用于移动边缘计算场景下的 卸载策略制定 。 权利要求书3页 说明书10页 附图5页 CN 114727336 A 2022.07.08 CN 114727336 A 1.一种卸载策略确定方法， 其特 征在于， 所述方法包括： 根据预设算法， 确定终端对于M个计算任务的初始卸载策略； 其中， 所述初始卸载策略 用于指示所述终端将P个计算任务卸 载至云服务器， 所述M个计算任务包括所述P个计算任 务， M为正整数， P为自然数； 确定至少一个第 一计算任务的迁移成本； 其中， 所述第 一计算任务为所述M个计算任务 中， 在所述终端发生基站切换后需要 进行迁移的计算任务； 根据所述至少一个第一计算任务的迁移成本， 确定所述初始卸载 策略的损耗 函数； 根据所述损耗函数和所述预设算法， 对所述初始卸载策略进行优化， 以确定最终卸载 策略。 2.根据权利要求1所述的方法， 其特征在于， 所述至少一个第 一计算任务的迁移成本用 于表征所述至少一个第一计算任务进行迁移时的能耗和时延； 所述根据所述至少一个第一计算任务的迁移成本， 确定所述初始卸载策略的损耗函 数， 具体包括： 根据所述至少一个第一计算任务的迁移成本， 确定至少一个第二计算任务； 所述第二 计算任务 为所述至少一个第一计算任务中， 迁移成本大于卸载成本的计算任务； 根据所述至少一个第二计算任务， 确定所述至少一个第 三计算任务； 其中， 所述第三计 算任务为所述M个 计算任务中， 除去所述至少一个第二计算任务之外的计算任务； 根据所述至少一个第三计算任务， 确定所述初始卸载 策略的损耗 函数。 3.根据权利要求2所述的方法， 其特征在于， 所述根据所述至少一个第三计算任务， 确 定所述初始卸载 策略的损耗 函数， 具体包括： 确定每个所述第三计算任务的损耗 函数； 将所述每 个所述第三计算任务的损耗 函数相加， 得到所述初始卸载 策略的损耗 函数； 所述第三计算任务的损耗 函数满足以下公式： 其中， Zi表示编号为i的所述第三计算任务的所述损耗函数， βE表示所述终端的能耗权 重因子， βT表示所述终端的时延权重因子， i表示 所述计算任务的编号， Ei表示所述终端的能 耗， Ti表示所述终端的时延， 表示所述计算任务i在终端本地执行的能耗， Til表示表示所 述计算任务 i在终端本地执 行的时延， N表示所述至少一个第三计算任务的总数量。 4.根据权利要求1 ‑3任一项所述的方法， 其特征在于， 所述预设算法为Q ‑learning算 法； 所述根据所述损耗函数和预设算法， 对所述初始卸载策略进行优化， 以确定最终卸载 策略， 具体包括： 根据所述 Q‑learning算法， 确定所述初始卸载 策略的Q值； 根据所述初始卸载 策略的Q值， 对所述初始卸载 策略进行优化； 在所述损耗函数满足预设条件时， 将所述优化后的初始卸载策略确定为所述最终卸载 策略。权　利　要　求　书 1/3 页 2 CN 114727336 A 25.根据权利要求 4所述的方法， 其特 征在于， 所述初始卸载 策略的Q值满足以下公式： Q(s,a)＝(1 ‑α )Q(s,a)+α [R+γmaxQ(s' ,a')] 其中， Q(s,a)表示所述初始卸载策略在当前时刻的Q值， s表示所述Q ‑learning算法中 的状态参数， a表示所述Q ‑learning算法中的动作参数， R表示所述Q ‑learning算法中的回 报参数， α表示学习率， γ表示权重参数， Q(s',a')表示所述初始卸载策略在下一时刻的Q 值。 6.一种卸载策略确定装置， 其特 征在于， 所述卸载 策略确定装置包括： 处 理单元； 所述处理单元， 用于根据预设算法， 确定终端对于M个计算任务的初始卸载策略； 其中， 所述初始卸载策略用于指示所述终端将P 个计算任务卸载至云服务器， 所述M个计算任务包 括所述P个 计算任务， M为 正整数， P为自然数； 所述处理单元， 还用于确定至少一个第一计算任务的迁移成本； 其中， 所述第 一计算任 务为所述M个 计算任务中， 在所述终端发生基站切换后需要 进行迁移的计算任务； 所述处理单元， 还用于根据所述至少一个第一计算任务的迁移成本， 确定所述初始卸 载策略的损耗 函数； 所述处理单元， 还用于根据所述损耗函数和所述预设算法， 对所述初始卸载策略进行 优化， 以确定最终卸载 策略。 7.根据权利要求6所述的卸载 策略确定装置， 其特 征在于， 所述处理单元， 还用于根据所述至少一个第一计算任务的迁移成本， 确定至少一个第 二计算任务； 所述第二计算任务为所述至少一个第一计算任务中， 迁移成本大于卸载成本 的计算任务； 所述处理单元， 还用于根据所述至少一个第二计算任务， 确定所述至少一个第三计算 任务； 其中， 所述第三计算任务为所述M个计算任务中， 除去所述至少一个第二计算任务之 外的计算任务； 所述处理单元， 还用于根据所述至少一个第三计算任务， 确定所述初始卸载策略的损 耗函数。 8.根据权利要求7 所述的卸载 策略确定装置， 其特 征在于， 所述处理单元， 还用于确定每 个所述第三计算任务的损耗 函数； 所述处理单元， 还用于将所述每个所述第三计算任务的损耗函数相加， 得到所述初始 卸载策略的损耗 函数； 所述第三计算任务的损耗 函数满足以下公式： 其中， Zi表示编号为i的所述第三计算任务的所述损耗函数， βE表示所述终端的能耗权 重因子， βT表示所述终端的时延权重因子， i表示 所述计算任务的编号， Ei表示所述终端的能 耗， Ti表示所述终端的时延， 表示所述计算任务i在终端本地执行的能耗， Til表示表示所 述计算任务 i在终端本地执 行的时延， N表示所述至少一个第三计算任务的总数量。 9.根据权利要求6 ‑8任一项所述的卸载 策略确定装置， 其特 征在于，权　利　要　求　书 2/3 页 3 CN 114727336 A 3