(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210617751.2 (22)申请日 2022.06.01 (71)申请人 北京百度网讯科技有限公司 地址 100085 北京市海淀区上地十街10号 百度大厦二层 (72)发明人 杨德将　许韩晨玺 　 (74)专利代理 机构 北京清亦华知识产权代理事 务所(普通 合伙) 11201 专利代理师 罗岚 (51)Int.Cl. G06Q 10/04(2012.01) G06N 3/08(2006.01) G06N 3/04(2006.01) G06F 9/445(2018.01) (54)发明名称 在线预测服 务的生成方法和装置 (57)摘要 本公开提供了一种在线预测服务的生成方 法和装置， 涉及人工智 能技术领域， 具体涉及数 据处理、 机器学习技术领域。 具体实现方案为： 响 应于在线预测服务指令， 获取机器学习模型的自 定义配置信息； 获取生成机器学习模 型的在线预 测服务所需要的基础功能； 根据基础功能、 自定 义配置信息和机器学习模型的模 型文件， 生成机 器学习模型的在线预测服务， 其中， 在线预测服 务用于在接收到预测请求的情况下， 基于机器学 习模型对预测请求中的预测数据进行处理， 以得 到预测结果。 由此， 方便地实现了机器学习模型 的在线预测服务的生成， 降低了构建机器学习模 型的在线预测服 务的复杂度。 权利要求书3页 说明书9页 附图4页 CN 114897259 A 2022.08.12 CN 114897259 A 1.一种在线预测服 务的生成方法， 包括： 响应于在线预测服 务指令， 获取机器学习模型的自定义配置信息； 获取生成所述机器学习模型的在线预测服 务所需要的基础功能； 根据所述基础功能、 所述自定义配置信息和所述机器学习模型的模型文件， 生成所述 机器学习模型的在线 预测服务， 其中， 所述在线 预测服务用于在接收到预测请求的情况下， 基于所述机器学习模型对所述预测请求中的预测数据进行处 理， 以得到预测结果。 2.根据权利要求1所述的方法， 其中， 所述获取生成所述机器学习 模型的在线预测服务 所需要的基础功能， 包括： 获取生成所述在线预测服 务所需要的运行环境； 根据预设的在线预测服 务框架搭建底层数据传输服 务； 根据所述运行环境和所述底层数据传输服务， 确定生成所述在线预测服务所需要的基 础功能。 3.根据权利要求1所述的方法， 其中， 在容器上运行所述在线预测服务的情况下， 所述 根据所述基础功能、 所述自定义配置信息和所述机器学习模型的模型文件， 生成所述机器 学习模型的在线预测服 务， 包括： 根据所述基础功能、 所述自定义配置信息和所述模型文件， 确定生成所述在线预测服 务所需要的容器镜像； 根据所述 容器镜像生成可独立在所述 容器上运行的所述在线预测服 务。 4.根据权利要求1 ‑3中任一项所述的方法， 其中， 所述自定义配置信 息包括以下中的至 少一种： 目标模型加载方式、 输入数据的目标数据格式、 对所述输入 数据所需要 执行的目标 处理操作、 目标模型预测函数， 其中， 在将所述输入数据输入至所述机器学习模型之前， 对 所述输入数据执 行所述目标处 理操作。 5.根据权利要求 4所述的方法， 其中， 所述目标模型加载 方式的获取 方式为： 获取所述模型文件的文件格式； 提供与所述文件格式对应的多个候选模型加载 方式； 将从所述多个候选模型加载 方式中选中的模型加载 方式作为所述目标模型加载 方式。 6.根据权利要求3所述的方法， 其中， 所述根据所述基础功能、 所述自定义配置信息和 所述模型文件， 确定生成所述在线预测服 务所需要的容器镜像， 包括： 确定所述基础功能的基础功能镜像； 根据所述自定义配置信 息和所述模型文件， 确定生成所述在线预测服务所需要的自定 义功能镜像； 根据所述基础功能镜像和所述自定义功能镜像， 确定生成所述在线预测服务所需要的 容器镜像。 7.根据权利要求 4所述的方法， 其中， 所述目标模型 预测函数的获取 方式为： 获取与所述机器学习模型对应的多个候选模型 预测函数； 提供与所述机器学习模型对应的多个候选模型 预测函数； 将从所述多个候选模型预测函数中选中的候选模型预测函数作为所述目标模型预测 函数。 8.一种在线预测服 务的生成装置， 包括：权　利　要　求　书 1/3 页 2 CN 114897259 A 2第一获取模块， 用于响应于在线预测服 务指令， 获取机器学习模型的自定义配置信息； 第二获取模块， 用于获取生成所述机器学习模型的在线预测服 务所需要的基础功能； 生成模块， 用于根据所述基础功能、 所述自定义配置信息和所述机器学习模型的模型 文件， 生成所述机器学习模 型的在线 预测服务， 其中， 所述在线 预测服务用于在接收到预测 请求的情况下， 基于所述机器学习模型对所述预测请求中的预测数据进行处理， 以得到预 测结果。 9.根据权利要求8所述的装置， 其中， 所述第二获取模块， 包括： 第一获取 单元， 用于获取生成所述在线预测服 务所需要的运行环境； 搭建单元， 用于根据预设的在线预测服 务框架搭建底层数据传输服 务； 第一确定单元， 用于根据所述运行环境和所述底层数据传输服务， 确定生成所述在线 预测服务所需要的基础功能。 10.根据权利要求8所述的装置， 其中， 在容器上运行所述在线预测服务的情况下， 所述 生成模块， 包括： 第二确定单元， 用于根据 所述基础功能、 所述自定义配置信 息和所述模型文件， 确定生 成所述在线预测服 务所需要的容器镜像； 第一生成单元， 用于根据所述容器镜像生成可独立在所述容器上运行的所述在线预测 服务。 11.根据权利要求8 ‑10中任一项所述的装置， 所述第一获取模块获取所述机器学习模 型的自定义配置信息包括以下中的至少一种： 目标模型加载方式、 输入数据的目标数据格 式、 对所述输入数据所需要执行的目标处理操作、 目标模型预测函数， 其中， 在将所述输入 数据输入至所述机器学习模型之前， 对所述输入数据执 行所述目标处 理操作。 12.根据权利要求11所述的装置， 在所述第一获取模块用于获取所述目标模型加载方 式时， 包括： 第二获取 单元， 用于获取 所述模型文件的文件格式； 提供单元， 用于提供与所述文件格式对应的多个候选模型加载 方式； 确认单元， 用于将 从所述多个候选模型加载方式中选 中的模型加载方式作为所述目标 模型加载 方式。 13.根据权利要求10所述的装置， 其中， 所述第二确定单 元， 包括： 第一确定 子单元， 用于确定所述基础功能的基础功能镜像； 第二确定子单元， 用于根据所述自定义配置信息和所述模型文件， 确定生成所述在线 预测服务所需要的自定义功能镜像； 第三确定子单元， 用于根据所述基础功能镜像和所述自定义功能镜像， 确定生成所述 在线预测服 务所需要的容器镜像。 14.根据权利要求11所述的装置， 其中， 所述第 一获取模块获取所述机器学习 模型的目 标模型预测函数的方式为： 获取与所述机器学习模型对应的多个候选模型 预测函数； 提供与所述机器学习模型对应的多个候选模型 预测函数； 将从所述多个候选模型预测函数中选中的候选模型预测函数作为所述目标模型预测 函数。权　利　要　求　书 2/3 页 3 CN 114897259 A 3