(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210607997.1 (22)申请日 2022.05.31 (71)申请人 浙江理工大 学 地址 310018 浙江省杭州市经济技 术开发 区白杨街道 2号大街9 28号 (72)发明人 骆淑云　程浩宇　 (74)专利代理 机构 浙江永鼎律师事务所 3 3233 专利代理师 周希良 (51)Int.Cl. H04L 67/10(2022.01) G06F 9/445(2018.01) (54)发明名称 一种基于DRL的边缘视频目标检测任务卸载 方法及系统 (57)摘要 本发明公开了一种基于深度强化学习的边 缘视频目标检测任务卸载方法及系统， 本发明方 法包括如下步骤： S1， 建立多终端设备单MEC服务 器的系统模型； S2， 建立处理视频任务的时延模 型； S3， 建立处理视频任务的能耗模型； S4， 建立 优化目标为最小 化MEC系统任务处理时延与能耗 加权成本的问题模型； S5， 设计基于深度强化学 习的视频任务卸载策略； S6， 初始化网络权重、 经 验回放池、 MEC系 统各队列状态； S7， 终端设备根 据卸载策略执行卸载决策并与环境交互； S8， 抽 取经验样本 更新网络权重； S9， 重复上述步骤S7、 S8， 直至奖励 曲线收敛。 本发明使终端设备根据 环境状态输出最优卸载决策， 达到最小的系统成 本。 权利要求书7页 说明书20页 附图5页 CN 115022319 A 2022.09.06 CN 115022319 A 1.一种基于DRL的边 缘视频目标检测任务卸载 方法， 其特 征在于， 包括如下步骤： S1， 建立多终端设备 单MEC服务器的系统模型； S2， 建立处 理视频任务的时延模型； S3， 建立处 理视频任务的能耗模型； S4， 建立优化目标为 最小化MEC系统任务处 理时延与能耗加权成本的问题模型； S5， 设计基于深度强化学习的视频任务卸载 策略； S6， 初始化网络 权重、 经验回放池、 M EC系统各队列状态； S7， 终端设备根据卸载 策略执行卸载决策并与环境交 互； S8， 抽取经验样本更新网络 权重； S9， 重复上述 步骤S7、 S 8， 直至奖励曲线收敛。 2.如权利要求1所述一种基于DRL的边缘视频目标检测任务卸载方法， 其特征在于， 步 骤S1具体如下： 设一个由单个MEC服务器和多个相同硬件配置的终端设备构成的MEC系 统模型； 其中， 终端设备集合定义为 m∈M定义为设备索引； 各设备通过无线连接至MEC服 务器， MEC服务器为终端设备提供计算资源； S1.1， 建立视频分析任务模型 MEC系统时间由时隙集合T＝{1,2,...,T}来表示， 时隙索引和时隙长度分别由t∈T和 Δ表示； 假定在每个时隙起始时刻， 各终端设备均产生一个视频分析任务Vm(t)＝{Zm(t),Dm (t)}； 其中， Zm(t)表示视频任务的数据大小， Dm(t)表示该视频任务的时长； S1.2， 设计视频任务卸载决策 在视频任务执行计算前， 将视频按其时间轴均等切分为多个视频片段即视频块； 进而 将一个完整的视频分析任务的卸载问题被转化为多个子任务卸 载问题； 具体地， 终端设备 对任务Vm(t)切分后产生的视频块数量定义 为Km(t)， 即视频块的数量， 则由式(1)表示： 其中， d表示单个视频块时长； 将该终端设备m在时刻 t的卸载决策定义为任 务Vm(t)的卸 载率αm(t)∈[0,1]； 因此， 任务Vm(t)执行卸载的视频块数量 如式(2)所示： 上式中 表示向上 取整； 任务Vm(t)在本地计算的视频块数量 表示为： 3.如权利要求2所述一种基于DRL的边缘视频目标检测任务卸载方法， 其特征在于， 步 骤S2具体如下： S2.1， 建立视频任务本地计算的时延模型 针对视频目标检测 任务的计算流程， 对任务Vm(t)切分预处理后， 视频块的本地计算流 程为： 视频编解码、 深度学习模型推理和上传推理结果； 针对t时刻终端设备m本地处理 个视频块， 计算和分析 各环节的时延成本： 首先， 深度学习模型进行推理计算需要输入为RGB格 式的帧数据， 故视频块需先完成视权　利　要　求　书 1/7 页 2 CN 115022319 A 2频编解码操作； 具体地， 单个视频块由原数据格式即RA W格式转换为 RGB格式的帧数据， 这一 过程的时延消耗如式(4)所示： 上式中Cr2r表示单个视频块完成r2r编解码所需周期数， r2r代表RAW  to RGB； 定义 为终端设备的计算能力， 由周期频率表示； 视频块计算过程需要考虑其所在计算队列的状态， 即t时刻终端设备m中r2r编解码队 列长度 那么对于 个视频块， 其中第i个视频块的排队时延 如式(5)所示： 上式中， 第一项表示r2r编解码队列中剩余任务的处理时延； 第二项表示对前i ‑1个视 频块的处 理时延； 因此， 第i个视频块完成r 2r编解码产生的时延消耗如(6)所示： 其次， 完成r2r编解码的视频块以帧数据的形式进行深度学习模型推理环节； 对于搭载 GPU芯片的终端设备， 其模型推理操作由该芯片 完成； 单个视频块在终端设备完成推理所需 时延由式(7)所示： 上式中 表示本地终端设备的GPU工作频率； Cinf表示单个视频块完成模型推理所需 周期数； 结合 上述编解码过程的时延计算， 模型推理过程同样需要考虑排队时延， 将 定义为t时刻设备m的模型推 理队列长度； 本地处理的视频块数量 为零时， 即本地设备 只需处理推理队列剩余任务， 时延消耗如式(8)表示： 对于 的情况， 假定 作为其视频块索引； 则第i个视频块完成推理 产生时延如式(9)所示： 终端设备m在t时刻本地处 理完所有任务的时延成本如式(10)表示： S2.2， 视频任务执 行计算卸载的时延模型权　利　要　求　书 2/7 页 3 CN 115022319 A 3