(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210832612.1 (22)申请日 2022.07.14 (71)申请人 山东省计算中心 （国家超 级计算济 南中心） 地址 250014 山东省济南市科院路19号 申请人 齐鲁工业大学 (72)发明人 陈静　肖恭翼　郭莹　李娜　孙浩　 李文　张传福　 (74)专利代理 机构 济南金迪知识产权代理有限 公司 37219 专利代理师 杨树云 (51)Int.Cl. G06V 10/94(2022.01) G06V 20/52(2022.01) G06V 10/70(2022.01)G06V 10/82(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01) G06N 5/04(2006.01) G06F 9/455(2006.01) H04L 67/06(2022.01) H04L 67/10(2022.01) H04L 67/1008(2022.01) H04L 67/101(2022.01) H04L 67/1095(2022.01) H04N 7/18(2006.01) (54)发明名称 一种基于云边端架构的图像联合推理识别 系统及方法 (57)摘要 本发明涉及一种基于云边端架构的图像联 合推理识别系统及方法， 包括云平台层、 通信网 络层、 边缘层、 终端层； 云平台层包括云计算中 心、 数据库、 云端文件存储系统、 镜像仓库； 边缘 层包括集 成在目标图像识别场景中的各个设备， 包括边缘设备、 本地文件存储系统； 终端层是目 标图像识别场景中具有数据采集功能的终端设 备， 用于将监控采集的实时图像、 视频通过有线 或无线网络传输到边缘层， 以待检测。 本发明采 用云边联合推理算法， 攻克只将模 型单边部署于 云端或者边缘端的缺点， 能更多更快的对多目标 进行检测识别， 充分利用云边资源， 更适用于复 杂的多目标图像识别与检测作业。 权利要求书3页 说明书8页 附图4页 CN 115187847 A 2022.10.14 CN 115187847 A 1.一种以云边端架构为基础的图像联合推理识别系统， 其特征在于， 包括云平台层、 通 信网络层、 边 缘层及终端层； 所述云平台层包括云计算中心、 数据库、 云端 文件存储系统、 镜像仓库； 所述云计算中心用于云端、 边缘端人工智能图像识别模型的训练以及处理边缘端卸载 到云计算中心的图像识别任务； 所述数据库用于存储寻址目录地址； 所述云端文件存储系 统用于存储云端、 边缘端人工智能图像识别模型以及该模型训练所用的训练集、 测试集图 像文件； 所述镜像仓库用于存储云计算中心训练好的云端、 边缘端人工智能图像识别模型 生成的镜像文件； 所述通信网络层用于边缘层与云平台层之间的信息交互、 数据上传、 模型与镜像的下 载； 所述边缘层包括集成在目标图像识别场景中的各个设备， 包括边缘设备、 本地文件存 储系统； 所述边缘设备承载边缘端人工智能图像识别模型， 用于处理目标图像识别场景中终端 层上传来的监控数据， 且通过联合推理算法计算该监控数据是否启用云端 人工智能图像识 别模型进 行检测； 所述本地文件存储系统用于存储历史以及最新版本的边缘端人工智能图 像识别模型的镜像文件、 可 执行程序、 终端层上传的图像数据集以及检测结果； 所述终端层是目标图像识别场景中具有数据采集功能的终端设备， 用于将监控采集的 实时图像、 视频通过有 线或无线网络传输 到边缘层， 以待检测； 其中， 通过联合推理算法计算该监控数据 是否启用云端人工智能图像识别模型进行检 测， 包括： 获取当前边缘设备cp u剩余率、 当前边缘设备内存剩余率、 边缘设备与云计算中心 网络连接之间网关的延迟、 模型启动时间、 当前该次作业数据大小， 通过联合推理算法计算 该监控数据是否启用云端人工智能图像识别模型进行检测。 2.根据权利要求1所述的一种以云边端架构为基础的图像联合推理识别系统， 其特征 在于， 所述云计算中心部署开源的Kube edge‑Sedna管理平台； 边缘设备通过Kubeedge ‑Sedna管理平台的Join  Token密钥与证书验证方式加入到所 述云平台层中， 所述云计算中心管控边 缘设备； 所述云计算中心接收终端设备的接入， 并指定终端设备所属边缘设备， 所述云计算中 心管控边 缘设备。 3.根据权利要求1所述的一种以云边端架构为基础的图像联合推理识别系统， 其特征 在于， 所述 边缘设备为 Nvidia Nx Xavier集成设备； 终端设备包括摄 像头或监控器。 4.根据权利要求1所述的一种以云边端架构为基础的图像联合推理识别系统， 其特征 在于， 云计算中心、 数据库、 云端文件存储系统、 镜像仓库均处于一个局域网中； 边缘设备、 本地文件 存储系统、 终端层处于一个局域网中。 5.一种以云边端架构为基础的图像联合推理识别方法， 基于权利要求1 ‑4任一所述的 上述图像联合推理识别系统实现， 其特 征在于， 包括： 步骤1： 所述云计算中心根据不同的目标图像识别场景需求， 分别训练出所需的云端、 边缘端人工智能图像识别模型， 并将这两个模型打包成为镜像， 存入 所述镜像仓库中； 并将 边缘端人工智能图像识别模型的镜像文件发送到所述本地文件 存储系统中； 步骤2： 所述云计算中心通过Yaml文件在所指定的边缘设备上启动Pod容器、 运行目标权　利　要　求　书 1/3 页 2 CN 115187847 A 2图像识别服 务、 部署Sedna插 件， Sedna插 件中已有联合推理算法； 步骤3： 边缘设备从所述本地文件存储系统拉取Pod容器运行所需镜像， Pod容器启动成 功， 并将Pod容器 状态返回给 所述云计算中心； 步骤4： 边缘设备通过Yaml文件运行目标 图像识别服务后， 利用Sedna插件联合推理算 法， 在目标图像识别场景进行工作； 步骤5： 所述终端设备通过ip地址与边缘设备进行连接， 边缘设备通过所述终端设备传 输来的实时图像获取目标图像识别数据； 步骤6： 所述边缘设备读取待检测的目标图像识别数据， 并同时获取当前边缘设备cpu 剩余率、 当前边缘设备内存剩余率、 边缘设备与云计算中心网络连接之间网关的延迟、 模型 启动时间、 当前该次作业数据大小， 通过联合推理算法计算该监控数据是否启用云端人工 智能图像识别模型进行检测， 并进行目标图像识别服 务， 得到目标图像识别结果。 6.根据权利要求5所述的一种以云边端架构为基础的图像联合推理识别方法， 其特征 在于， 步骤1中， 所述云计算中心根据不同的目标图像识别场景需求， 分别训练出所需的云 端、 边缘端人工智能图像识别模型， 具体包括： 步骤1.1： 构建 云端、 边缘端人工智能图像识别模型； 云端人工智能图像识别模型包括主干神 经网络CSP ‑Darknet53、 神 经网络LeNet ‑5、 神 经网络Dark net‑19； 边缘端人工智能图像识别模型采用CS P‑Darknet53神经网络架构； 步骤1.2： 训练云端人工智能图像识别模型； 获取数据集； 对数据集中的训练集进行 特征标记并添加类别标签， 导 为xml格式， 得到xml数据集； 将xml数据集中的图像的坐标归一 化处理； 训练云端人工智能图像识别模型； 步骤1.3： 训练边 缘端人工智能图像识别模型； 获取数据集； 对数据集中的训练集进行 特征标记并添加类别标签， 导 为xml格式， 得到xml数据集； 将xml数据集中的图像的坐标归一 化处理； 训练边缘端人工智能图像识别模型。 7.根据权利要求5所述的一种以云边端架构为基础的图像联合推理识别方法， 其特征 在于， 步骤6中， 通过联合推理算法计算该监控数据是否启 用云端人工智能图像识别模型进 行检测， 包括： 步骤6.1： 计算边缘设备模型负载与资源利用的关系D(r,h)得到资源压力负载参数n1的 值： D(r,h)如式(1)所示： 式(1)中， Ra与Rb分别为当前边缘设备cpu剩余率与内存剩余率， V1、 V2为调节常数， a为模 型启动时间平均常数， hi为当前该次作业数据大小； 当D(r,h)的值低于 0， n1＝0， 进入步骤6.2； 否则， n1＝1， 进入步骤6.3；权　利　要　求　书 2/3 页 3 CN 115187847 A 3