(19)国家知识产权局 (12)发明 专利 (10)授权公告 号 (45)授权公告日 (21)申请 号 20221026170 5.3 (22)申请日 2022.03.17 (65)同一申请的已公布的文献号 申请公布号 CN 114331238 A (43)申请公布日 2022.04.12 (73)专利权人 北京航天晨信科技有限责任公司 地址 102300 北京市门头沟区莲石湖西路 98号院7号楼1 101室 (72)发明人 贾帅楠　 (74)专利代理 机构 南昌旭瑞知识产权代理事务 所(普通合伙) 36150 专利代理师 彭琰 (51)Int.Cl. G06Q 10/06(2012.01) G06K 9/62(2022.01)G06F 16/23(2019.01) 审查员 郝婕 (54)发明名称 智能模型算法优选方法、 系统、 存储介质及 计算机设备 (57)摘要 本发明公开了一种智能模型算法优选方法、 系统、 存储介质及计算机设备， 该方法包括： 获取 待评估模型算法， 并在预设数据库中查找与所述 待评估模型算法对应的对比模型算法； 采集训练 数据集， 并通过所述训练数据集 分别对所述待评 估模型算法和所述对比模型算法进行训练； 分别 获取训练后的所述待评估模型算法的预设指标 参数、 训练后的所述对比模型算法的预设指标参 数； 根据所述预设指标参数从所述待评估模型算 法与所述对比模 型算法中确定优选模 型算法。 本 发明实现了对用户自研或开源智能算法的快速 综合评估。 权利要求书2页 说明书10页 附图4页 CN 114331238 B 2022.07.08 CN 114331238 B 1.一种智能模型算法优选方法， 其特 征在于， 所述方法包括： 获取待评估模型算法， 并在预设数据库中查找与 所述待评估模型算法对应的对比模型 算法； 采集训练数据集， 并通过所述训练数据集分别对所述待评估模型算法和所述对比模型 算法进行训练； 分别获取训练后的所述待评估模型算法的预设指标参数、 训练后的所述对比模型算法 的预设指标参数； 根据所述预设指标参数从所述待评估模型算法与所述对比模型算法中确定优选模型 算法； 所述根据所述预设指标参数从所述待评估模型算法与所述对比模型算法中确定优选 模型算法的步骤 包括： 分别获取所述待评估模型算法中各所述预设指标之间的平均相似度、 所述对比模型算 法中各所述预设指标之间的平均相似度； 计算所述待评估模型算法的平均相似度与 所述对比模型算法的平均相似度的差值， 将 所述平均相似度较高的模型算法确定为优选模型算法； 根据所述平均相似度确定模型算法的多样性量度指标， 通过所述多样性量度指标确定 所述优选模型算法； 所述多样性 量度指标的计算公式为： ； 其中， 是模型算法的各预设指标， Q为平均相似度， 是每个单项指标 的权重 系数， =1。 2.根据权利要求1所述的智能模型算法优选方法， 其特征在于， 所述根据 所述预设指标 参数从所述待评估 模型算法与所述对比模型算法中确定优选模型算法的步骤 包括： 获取所述预设指标的评判标准， 确定符合所述预设指标的评判标准的目标预设指标参 数， 并将所述目标 预设指标参数对应的模型算法确定为优选模型算法。 3.根据权利要求1所述的智能模型算法优选方法， 其特征在于， 所述预设指标包括准确 率、 精确率、 召回率、 特效度、 计算速度、 交并比和损失函数。 4.根据权利要求1所述的智能模型算法优选方法， 其特征在于， 所述根据 所述预设指标 参数从所述待评估 模型算法与所述对比模型算法中确定优选模型算法的步骤之后还 包括： 当判断到所述待评估模型算法为优选模型算法时， 将所述待评估模型算法存储至所述 预设数据库中以对所述预设数据库进行 更新。 5.根据权利要求1所述的智能模型算法优选方法， 其特征在于， 所述采集训练数据集， 并通过所述训练数据集分别对所述待评估模型算法和所述对比模型算法进行训练的步骤 中， 设置训练参数后分别对所述待评估 模型算法和所述对比模型算法进行训练。权　利　要　求　书 1/2 页 2 CN 114331238 B 26.根据权利要求5所述的智能模型算法优选方法， 其特征在于， 所述根据 所述预设指标 参数从所述待评估 模型算法与所述对比模型算法中确定优选模型算法的步骤之后还 包括： 根据所述训练参数与所述训练参数对应的评估结果 生成评估记录表。 7.一种智能模型算法优选系统， 其特 征在于， 所述系统包括： 第一获取模块， 用于获取待评估模型算法， 并在预设数据库中查找与所述待评估模型 算法对应的对比模型算法； 采集模块， 用于采集训练数据集， 并通过所述训练数据集分别对所述待评估模型算法 和所述对比模型算法进行训练； 第二获取模块， 用于分别获取训练后的所述待评估模型算法的预设指标参数、 训练后 的所述对比模型算法的预设指标参数； 确定模块， 用于根据 所述预设指标参数从所述待评估模型算法与所述对比模型算法中 确定优选模型算法； 所述确定模块还 包括： 第二获取单元， 分别获取所述待评估模型算法中各所述预设指标之间的平均相似度、 所述对比模型算法中各 所述预设指标之间的平均相似度； 计算单元， 用于计算所述待评估模型算法的平均相似度于所述对比模型算法的平均相 似度的差值， 将所述平均相似度较高的模型算法确定为优选模型算法； 指标确定模块， 用于根据所述平均相似度确定模型算法的多样性量度指标， 通过所述 多样性量度指标确定所述优选模型算法； 所述多样性 量度指标的计算公式为： ； 其中， 是模型算法的各预设指标， Q为平均相似度， 是每个单项指标 的权重 系数， =1。 8.一种存储介质， 其上存储有计算机程序， 其特征在于， 所述程序被处理器执行时实现 如权利要求1至 6中任意一项所述的方法的步骤。 9.一种计算机设备， 其特征在于， 包括存储器、 处理器以及存储在存储器上并可在处理 器上运行的计算机程序， 所述处理器执行所述程序时实现如权利要求 1至6任一所述的方法 的步骤。权　利　要　求　书 2/2 页 3 CN 114331238 B 3