全网唯一标准王
(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210238004.8 (22)申请日 2022.03.10 (71)申请人 北京百度网讯科技有限公司 地址 100085 北京市海淀区上地十街10号 百度大厦2层 (72)发明人 罗阳 钱正宇 胡鸣人 施恩  袁正雄 褚振方 黄悦 王国彬  李金麒  (74)专利代理 机构 北京钲霖知识产权代理有限 公司 11722 专利代理师 李英艳 杨继成 (51)Int.Cl. G06F 9/445(2018.01) G06F 9/48(2006.01) G06F 9/455(2006.01) (54)发明名称 启动模型服务的方法、 装置、 设备、 介质及产 品 (57)摘要 本公开提供了一种启动模型服务的方法、 装 置、 设备、 介质及产品, 涉及计算机技术领域, 尤 其涉及AI平台技术领域。 具体实现方案为: 响应 于服务模型被触发启动, 获取所述服务模型所对 应的镜像文件, 其中, 所述镜像文件中包括所述 服务模型的元信息, 以及所述服务模 型所运行服 务进程的上下文信息; 加载所述镜像文件, 以启 动所述服务模 型进行服务。 本公开能够获取服务 模型对应的镜像文件, 通过加载镜像文件实现服 务模型的启动, 减少模型启动时间, 提高模型服 务启动速度, 从而提升用户体验。 权利要求书2页 说明书9页 附图6页 CN 114706622 A 2022.07.05 CN 114706622 A 1.一种启动模型服 务的方法, 包括: 响应于服务模型被触发启动, 获取所述服务模型所对应的镜像文件, 其中, 所述镜像文 件中包括所述 服务模型的元信息, 以及所述 服务模型所运行服 务进程的上 下文信息; 加载所述镜像文件, 以启动所述 服务模型进行服 务。 2.根据权利要求1所述的方法, 其中, 所述镜像文件 采用如下 方式创建: 控制所述 服务模型运行服 务进程; 获取所述服务模型所运行服 务进程的上 下文信息以及所述 服务模型的元信息; 创建包括所述元信息以及所述上 下文信息的镜像文件。 3.根据权利要求2所述的方法, 所述控制所述 服务模型运行服 务进程, 包括: 调用运行的所述 服务模型; 触发所述服务模型中包括的工作实例加载所述服务模型, 以唤醒所述服务模型运行服 务进程。 4.根据权利要求2或3所述的方法, 其中, 所述获取所述服务模型所运行服务进程的上 下文信息以及所述 服务模型的元信息, 包括: 响应于确定所述服务模型被唤醒成功, 监测所述服务模型所运行服务进程的上下文信 息; 存储所述上 下文信息, 并记录所述 服务模型的元信息 。 5.根据权利要求 4所述的方法, 其中, 所述确定所述 服务模型被唤醒成功, 包括: 若确定大于数量阈值的工作实例完成所述服务模型的加载, 且基于所述服务模型成功 完成推理, 则确定服 务模型被唤醒成功。 6.根据权利要求5所述的方法, 其中, 所述加载所述镜像文件, 以启动所述服务模型, 包 括: 解析所述镜像文件, 得到服 务进程的上 下文信息以及所述 服务模型的元信息; 基于所述服务模型的元信 息以及所述服务进程的上下文信 息, 确定所述服务模型所运 行服务进程的目标运行状态; 控制所述 服务模型所运行的服 务进程, 在所述目标运行状态下提供服 务。 7.一种启动模型服 务的装置, 包括: 获取模块, 用于当服务模型被触发启动时, 获取所述服务模型所对应的镜像文件, 其 中, 所述镜像文件中包括所述服务模型 的元信息, 以及所述服务模型所运行服务进程的上 下文信息; 启动模块, 用于加载 所述镜像文件, 以启动所述 服务模型进行服 务。 8.根据权利要求7 所述的装置, 其中, 所述装置还 包括: 创建模块, 用于控制所述服务模型运行服务进程, 获取所述服务模型所运行服务进程 的上下文信息以及所述服务模型的元信息, 创建包括所述元信息以及所述上下文信息的镜 像文件。 9.根据权利要求8所述的装置, 所述创建模块还用于: 调用运行的所述 服务模型; 触发所述服务模型中包括的工作实例加载所述服务模型, 以唤醒所述服务模型运行服 务进程。权 利 要 求 书 1/2 页 2 CN 114706622 A 210.根据权利要求8或9所述的装置, 其中, 所述获取模块还用于: 响应于确定所述服务模型被唤醒成功, 监测所述服务模型所运行服务进程的上下文信 息; 存储所述上 下文信息, 并记录所述 服务模型的元信息 。 11.根据权利要求10所述的装置, 其中, 所述获取模块还用于: 若确定大于数量阈值的工作实例完成所述服务模型的加载, 且基于所述服务模型成功 完成推理, 则确定服 务模型被唤醒成功。 12.根据权利要求1 1所述的装置, 其中, 所述启动模块还用于: 解析所述镜像文件, 得到服 务进程的上 下文信息以及所述 服务模型的元信息; 基于所述服务模型的元信 息以及所述服务进程的上下文信 息, 确定所述服务模型所运 行服务进程的目标运行状态; 控制所述 服务模型所运行的服 务进程, 在所述目标运行状态下提供服 务。 13.一种电子设备, 包括: 至少一个处 理器; 以及 与所述至少一个处 理器通信连接的存 储器; 其中, 所述存储器存储有可被所述至少一个处理器执行的指令, 所述指令被所述至少一个处 理器执行, 以使所述至少一个处理器能够执行权利要求1 ‑6中任一项所述的启动模型服务 的方法。 14.一种存储有计算机指令的非瞬时计算机可读存储介质, 其中, 所述计算机指令用于 使所述计算机执 行根据权利要求1 ‑6中任一项所述的启动模型服 务的方法。 15.一种计算机程序产品, 包括计算机程序, 所述计算机程序在被处理器执行时实现根 据权利要求1 ‑6中任一项所述的启动模型服 务的方法。权 利 要 求 书 2/2 页 3 CN 114706622 A 3

.PDF文档 专利 启动模型服务的方法、装置、设备、介质及产品

文档预览
中文文档 18 页 50 下载 1000 浏览 0 评论 309 收藏 3.0分
温馨提示:本文档共18页,可预览 3 页,如浏览全部内容或当前文档出现乱码,可开通会员下载原始文档
专利 启动模型服务的方法、装置、设备、介质及产品 第 1 页 专利 启动模型服务的方法、装置、设备、介质及产品 第 2 页 专利 启动模型服务的方法、装置、设备、介质及产品 第 3 页
下载文档到电脑,方便使用
本文档由 人生无常 于 2024-03-18 00:03:33上传分享
友情链接
站内资源均来自网友分享或网络收集整理,若无意中侵犯到您的权利,敬请联系我们微信(点击查看客服),我们将及时删除相关资源。