(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211311142.0 (22)申请日 2022.10.25 (71)申请人 杭州华橙软件技 术有限公司 地址 310051 浙江省杭州市滨江区长河街 道滨兴路1399号3号楼15层 (72)发明人 马子昂　刘征宇　 (74)专利代理 机构 深圳市威世博知识产权代理 事务所(普通 合伙) 44280 专利代理师 严翠霞 (51)Int.Cl. G06V 10/774(2022.01) G06V 10/80(2022.01) G06V 10/82(2022.01) G06T 7/73(2017.01) (54)发明名称 图像处理模 型训练方法、 电子 设备和计算机 可读存储介质 (57)摘要 本申请公开了一种图像处理模 型训练方法、 电子设备和计算机可读存储介质， 该图像处理模 型训练方法包括： 将训练目标对应的训练图像输 入图像处理模 型， 图像处理模型利用多个初始关 键点表示训练目标， 对各个初始关键点的位置进 行预测， 得到多个预测关键点； 基于各个初始关 键点及其对应的预测关键点， 得到各个初始关键 点对应的聚合关键点； 基于多个聚合关键点， 确 定训练目标对应的目标预测框； 基于训练目标对 应的目标真值框和目标预测框， 对图像处理模型 的参数进行调整； 响应于满足预设收敛条件， 得 到训练后的图像处理模型。 上述方案， 能够降低 目标标注的精度要求， 提高训练后的图像处理模 型进行视 觉特征提取的准确率。 权利要求书2页 说明书8页 附图4页 CN 115375976 A 2022.11.22 CN 115375976 A 1.一种图像处 理模型训练方法， 其特 征在于， 所述方法包括： 将训练目标对应的训练图像输入图像处理模型， 所述图像处理模型利用多个初始关键 点表示所述训练目标， 对各个所述初始关键点的位置进 行预测， 得到多个预测关键点； 基于 各个所述初始关键点及其对应的所述预测关键点， 得到各个所述初始关键点对应的聚合关 键点； 基于多个所述聚合关键点， 确定所述训练目标对应的目标 预测框； 基于所述训练目标对应的目标真值框和所述目标预测框， 对所述图像处理模型的参数 进行调整； 响应于满足预设收敛 条件， 得到训练后的所述图像处 理模型。 2.根据权利要求1所述的图像处理模型训练方法， 其特征在于， 所述图像处理模型包括 卷积模块和预测模块， 所述利用多个初始关键点表示所述训练目标， 对各个所述初始关键 点的位置进行 预测， 得到多个预测关键点， 包括： 将训练目标对应的训练图像输入所述卷积模块， 以使所述卷积模块提取所述训练图像 的特征， 得到训练图像对应的卷积特 征图； 利用多个初始关键点在所述卷积特征图上表示所述训练目标， 得到多个所述初始关键 点所组成的初始关键点 集合； 将所述初始关键点集合输入所述预测模块， 以使所述预测模块对各个所述初始关键点 的位置进行 预测， 得到各个所述初始关键点对应的预测关键点所组成的预测关键点 集合。 3.根据权利要求2所述的图像处理模型训练方法， 其特征在于， 所述图像处理模型还包 括聚合模块， 所述基于各个所述初始关键点及其对应的所述预测关键点， 得到各个所述初 始关键点对应的聚合关键点， 包括： 将所述初始关键点集合和所述预测关键点集合输入所述 聚合模块， 以使所述 聚合模块 聚合各个所述初始关键点及其对应的所述预测关键点的特征， 得到各个所述初始关键点对 应的聚合关键点所组成的聚合关键点 集合。 4.根据权利要求3所述的图像处理模型训练方法， 其特征在于， 所述聚合各个所述初始 关键点及其对应的所述预测关键点的特征， 得到各个所述初始关键点对应的聚合关键点所 组成的聚合关键点 集合， 包括： 基于各个所述初始关键点及其对应的所述预测关键点的位置， 得到各个所述初始关键 点与其对应的预测关键点之间的连线； 将各个所述连线分成第 一预设数值个参考点， 对所述第 一预设数值个参考点进行最大 池化操作， 以聚合所述第一预设数值个参考点的特征， 得到各个所述连线对应的聚合关键 点以及所述聚合关键点对应的聚合特 征； 将多个所述聚合关键点组成所述聚合关键点集合， 并将各个聚合关键点对应的聚合特 征串联， 得到所述聚合关键点 集合对应的增强特 征。 5.根据权利要求2所述的图像处理模型训练方法， 其特征在于， 所述利用多个初始关键 点在所述卷积特征图上表示所述训练目标， 得到多个所述初始关键点所组成的初始关键点 集合， 包括： 从所述卷积特征图的所有像素点中， 挑选出第 二预设数值个像素点作为所述初始关键 点， 得到所述第二预设数值个所述初始关键点所组成的初始关键点 集合； 确定所述初始关键点 集合中各个所述初始关键点的初始位置 。权　利　要　求　书 1/2 页 2 CN 115375976 A 26.根据权利要求5所述的图像处理模型训练方法， 其特征在于， 所述将所述初始关键点 集合输入所述预测模块， 以使所述预测模块对各个所述初始关键点的位置进行预测， 得到 各个所述初始关键点对应的预测关键点所组成的预测关键点 集合， 包括： 将所述初始关键点集合输入所述预测模块， 以使所述预测模块对各个所述初始关键点 对应的位置进行 预测， 得到位置偏移值； 将所述位置偏移值叠加至对应的所述初始关键点的初始位置上， 得到各个所述初始关 键点对应的预测位置； 基于各个所述初始关键点对应的预测位置确定所述预测关键点， 得到所述第 二预设数 值个预测关键点所组成的预测关键点 集合。 7.根据权利要求6所述的图像处 理模型训练方法， 其特 征在于， 所述初始位置包括所述初始关键点对应的二维坐标， 所述预测模块对应的通道的数量 为所述第二预设数值的两倍， 所述位置偏移 值包括各个预测关键点与相对应的所述初始关 键点之间的二维坐标偏移量。 8.根据权利要求1所述的图像处理模型训练方法， 其特征在于， 所述基于多个所述聚合 关键点， 确定所述训练目标对应的目标 预测框， 包括： 在多个所述聚合关键点组成的聚合关键点集合中， 确定预设角部的聚合关键点对应的 角部位置； 基于所述角部位置确定所述训练目标对应的目标 预测框。 9.一种电子设备， 其特征在于， 包括： 相互耦接的存储器和处理器， 其中， 所述存储器存 储有程序数据， 所述处 理器调用所述 程序数据以执 行如权利要求1 ‑8中任一项所述的方法。 10.一种计算机可读存储介质， 其上存储有程序数据， 其特征在于， 所述程序数据被处 理器执行时实现如权利要求1 ‑8中任一项所述的方法。权　利　要　求　书 2/2 页 3 CN 115375976 A 3