(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211078136.5 (22)申请日 2022.09.05 (71)申请人 南京信息 工程大学 地址 210044 江苏省南京市江北新区宁六 路219号 (72)发明人 汤龙　赵攀　潘志庚　 (74)专利代理 机构 南京纵横知识产权代理有限 公司 32224 专利代理师 韩红莉 (51)Int.Cl. G06V 10/30(2022.01) G06V 10/74(2022.01) G06V 10/764(2022.01) G06V 10/774(2022.01) (54)发明名称 一种基于凸优化理论的抗噪声零样本图像 分类方法 (57)摘要 本发明公开基于凸优化理论的抗噪声零样 本图像分类方法， 提取待分类图片 的视觉特征， 输入预先训练获得的视觉 ‑语义映射模型， 预测 输出待分类图片的类别语义属性； 利用图模型降 噪算法， 将待分类图片的视觉特征空间和预测输 出待分类图片的类别语义属性空间进行流形对 齐， 获得最终的待分类图片的类别语义属性。 预 先训练获得视觉 ‑语义映射模型： 构建视觉 ‑语义 映射模型表达式； 利用类别语义属性空间相似度 和噪声鲁棒损失函数， 建立鲁棒优化问题； 使用 凸凹迭代方法将求解鲁棒优化问题转化为求解 一系列子优化问题； 使用交替方向乘子法对子优 化问题变量进行更新迭代， 确定视觉 ‑语义映射 模型中的相关参量， 从而获得最终的视觉 ‑语义 映射模型。 权利要求书5页 说明书11页 附图2页 CN 115147607 A 2022.10.04 CN 115147607 A 1.一种基于凸优化理论的抗噪声零样本图像分类方法， 其特 征在于， 包括： 获取待分类图片； 提取待分类图片的视 觉特征； 将待分类图片的视觉特征输入预先训练获得的视觉 ‑语义映射模型， 输出待分类图片 的类别语义属性； 利用图模型降噪算法， 将待分类图片的视觉特征空间和预测输出待分类图片的类别语 义属性空间进行流形对齐， 获得最终的待分类图片的类别语义属性。 2.根据权利要求1所述的一种基于凸优化理论的抗噪声零样本图像分类方法， 其特征 在于， 预先训练获得视 觉‑语义映射模型， 通过以下步骤实现： 步骤(1)， 获取已见类训练集， 已见类训练集包括图片样本的视觉特征和图片样本的类 别语义属性； 步骤(2)， 构建视觉 ‑语义映射模型， 将图片样本的视觉特征作为视觉 ‑语义映射模型的 输入， 将图片样本的类别语义属性作为视 觉‑语义映射模型的输出； 利用类别语义属性空间相似度和噪声鲁棒损失函数， 建立鲁棒优化问题； 步骤(3)， 使用凸凹迭代方法， 将求解鲁棒优化问题转化为求解一系列子优化问题， 直 至连续两次子优化问题的相似度小于设定的子优化 值； 步骤(4)， 使用交替方向乘子法对子优化问题变量进行更新迭代， 直至各个子优化问题 变量在两次连续迭代中的变化量小于定值， 确定视觉 ‑语义映射模型中的相关参量， 从而获 得最终的视 觉‑语义映射模型。 3.根据权利要求2所述的一种基于凸优化理论的抗噪声零样本图像分类方法， 其特征 在于， 步骤(5)， 获取 未见类测试集； 将未见类测试集输入最终的视觉 ‑语义映射模型， 获得未见类测试集的预测类别语义 属性； 利用图模型降噪算法， 将未见类测试集的视觉特征空间与未见类测试集的预测类别语 义属性空间进行流形对齐， 获得 未见类测试集 最终的类别语义属性； 基于未见类测试集最终的类别语义属性和各个未见类的类别语义属性， 确定未见类测 试集中每 个图片样本最终的预测类别； 根据未见类测试集中 图片样本的真实类别， 统计未见类测试集中图片样本最终的预测 类别的正确数量， 并计算未 见类测试集的类别预测准确率； 若未见类测试集的类别预测准确率大于设定的未见类阈值， 则判定最终的视觉 ‑语义 映射模型合格。 4.根据权利要求2所述的一种基于凸优化理论的抗噪声零样本图像分类方法， 其特征 在于， 步骤(2)， 构建视 觉‑语义映射模型， 通过以下步骤实现： 视觉‑语义映射模型的表达式为： ，权　利　要　求　书 1/5 页 2 CN 115147607 A 2式中，y为图片样本的类别语义属性， W为潜在子空间到类别语义属性的投影矩阵， x为 图片样本的视 觉特征，Q为视觉特征到潜在子空间的投影矩阵， T为转置； 步骤(2)， 利用类别语义属性空间相似度和噪声鲁棒损失函数， 建立鲁棒优化问题， 通 过以下步骤实现： 建立类别语义属性空间的相似度模型， 最大化图片样本的视觉特征在类别语义属性空 间的投影与图片样本对应的类别语义属性的相似度； 在视觉‑语义映射模型中添加一个潜在子空间， 建立优化问题： （1） 式中，P为潜在子空间到视觉特征的逆投影矩阵， Q为视觉特征到潜在子空间的投影矩 阵，W为潜在子空间到类别语义属性的投影矩阵， B为视觉特征到类别语义属性的投影矩阵， n为已见类训练集中 的图片样本数量， cs为已见类训练集中已见类的数量， xi为已见类训练 集中第i个图片样本的视觉特征， yzi为xi所对应类别的类别语义属性， yj为第j个已见类的 类别语义属性， β1和β2为权系数， 为W的F‑范数， 为Q的F‑范数，T为转置，I为单位 矩阵，X为已见类训练集中所有图片样本的视 觉特征矩阵； 噪声鲁棒损失函数采用Ramp型损失函数， Ramp型损失函数的表达式为： （2） ， （3） ； 式中，ui为因变量， t为设定的参数， L（ui） 为Ramp型损失函数计算的损失值； 采用Ramp 型损失函数更新公式 （1） 中的优化问题， 得到鲁棒优化问题， 鲁棒优化问题的 表达式为： ， （4） 。 5.根据权利要求4所述的一种基于凸优化理论的抗噪声零样本图像分类方法， 其特征 在于， 步骤(3)， 使用凸凹迭代方法， 将求解鲁棒优化问题转化为求解一系列子优化问题， 直 至连续两次子优化问题的相似度小于设定的子优化 值， 通过以下步骤实现： 步骤(31)， 将Ramp型损失函数改写为 一个凸函数和一个凹函数的和的形式： 将L（ui） 分解为L1（ui） +L2（ui） ， 其中L1（ui） =ui，权　利　要　求　书 2/5 页 3 CN 115147607 A 3