(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211167812.6 (22)申请日 2022.09.23 (71)申请人 广东工业大 学 地址 510090 广东省广州市越秀区东 风东 路729号 (72)发明人 林坚满　陈添水　林坚涛　杨志景　 (74)专利代理 机构 广州粤高专利商标代理有限 公司 44102 专利代理师 刘俊 (51)Int.Cl. G06V 10/764(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01) G06V 10/30(2022.01) G06V 10/40(2022.01)G06V 10/774(2022.01) (54)发明名称 一种基于深度学习的网络监督细粒度图像 识别方法和系统 (57)摘要 本发明提供一种基于深度学习的网络监督 细粒度图像识别方法和系统， 通过对含有噪声 标 签的输入图像进行特征处理， 获取含有噪声 标签 特征的实例图， 利用含有 标签的实例图为每个类 别构建图原型， 用所获得的含有噪声标签特征的 实例图与图原型对预置的图匹配神经网络模型 中进行训练， 利用优化后的图匹配神经网络模型 进行细粒度图像的识别； 该方法基于深度学习进 行细粒度图像的识别， 通过引入图原型与含有噪 声标签特征的实例图进行对比学习， 能够有效地 对噪声标签进行校正和对离群样 本进行剔除， 显 著提高了细粒度图像识别的效率和准确率。 权利要求书4页 说明书12页 附图2页 CN 115496948 A 2022.12.20 CN 115496948 A 1.一种基于深度学习的网络监 督细粒度图像识别方法， 其特 征在于， 包括以下步骤： S1： 从互联网中获取含有噪声标签的输入图像； S2： 对所述含有噪声标签的输入图像进行特征提取， 获取区域判别特征图和整体特征 图； S3： 根据所获得的区域判别特 征图和整体特 征图， 获取含有噪声标签特 征的实例图； S4： 根据所获取的含有噪声标签特 征的实例图， 为每 个类别构造图原型； S5： 将所获得的含有噪声标签特征的实例图与图原型输入预置的图匹配神经网络模型 中进行训练， 获得优化后的图匹配神经网络模型； S6： 获取待识别图像， 提取待识别图像特征后， 利用所述优化后的图匹配神经网络模型 对待识别图像进行识别， 获得待识别图像的识别结果。 2.根据权利要求1所述的一种基于深度学习的网络监督细粒度图像识别方法， 其特征 在于， 所述步骤S2中， 对 所述含有噪声 标签的输入图像进 行特征提取， 获取区域判别特征图 和整体特 征图， 具体方法为： 用特征提取器对所述含有噪声标签的输入图像进行特征提取， 获取整体特征图； 将所 述整体特征图通过一个卷积层， 获取均值滤波后的整体特征图； 对所述均值滤波后的整体 特征图基于通道数计算每个位置的均值， 获取整体均值特征图； 搜寻整体均值特征图中的 最大响应值区域， 并定位最大响应值区域的坐标， 根据最大响应值区域的坐标获取区域判 别特征图。 3.根据权利要求2所述的一种基于深度学习的网络监督细粒度图像识别方法， 其特征 在于， 所述搜寻整体均值特征图中的最大响应值区域， 并定位最大响应值区域的坐标的具 体方法为： 根据以下公式进行搜寻整体均值特征图中的最大响应值 区域， 并定位最大响应值区域 的坐标： 其中， 表示整体均值特征图， fg‘表示均值滤波后的整体特征图， C表示均值滤波后 的整体特征图的通道数， 表示搜寻最大响应值区域对应的行和列， (i,j)表示最大响 应值区域的坐标。 4.根据权利要求3所述的一种基于深度学习的网络监督细粒度图像识别方法， 其特征 在于， 所述步骤S 3中， 根据所获得的区域判别特征图和整体特征图， 获取含有噪声标签特征 的实例图， 具体方法为： 将所获得的区域判别特征图采用双线性插值的方法变换为相同的维度， 获取相同维度 的区域特征图； 利用全局平均池化的方法对整体特征图和相同维度的区域特征图进行降 维， 获取降维后的整体特征图和降维后的区域特征图； 根据降维后的整体特征图和降维后 的区域特 征图获取含有噪声标签特 征的实例图： Gins＝<Vins,Eins>权　利　要　求　书 1/4 页 2 CN 115496948 A 2其中， Gins表示含有噪声标签特征的实例图， Vins表示降维后的整体特征图和降维后的 区域特征图中所有特征点的集合， Eins表示含有噪声标签特征的实例图中特征点之间连接 的邻接矩阵。 5.根据权利要求4所述的一种基于深度学习的网络监督细粒度图像识别方法， 其特征 在于， 所述步骤S4中， 根据所获取的含有噪声标签特征的实例图， 构造图原型的具体方法 为： 根据所获取的含有噪声标签特征的实例图， 为每个类别构造一个与 所述含有噪声标签 特征的实例图相同结构的图原型， 图原型采用移动平均的方式进行 更新： Gk＝<Vk,Ek> 其中， Gk表示所构建的第k个类别的图原 型， Vk表示第k个类别的图原 型中所有特征点的 集合， Ek表示第k个类别的图原型中特征点之间连接的邻接矩阵， G'k为更新后的图原型， m为 预设参数。 6.根据权利要求5所述的一种基于深度学习的网络监督细粒度图像识别方法， 其特征 在于， 所述步骤S5中， 将所获得的含有 噪声标签特征的实例图与图原型输入预置的图匹配 神经网络模型中进行训练， 获得优化后的图匹配神经网络模型， 具体方法为： 所述预置的图匹配神经网络模型包括图内传播层、 图聚合层、 图间传播层和图匹配层， 获得优化后的图匹配神经网络模型包括以下步骤； S5.1： 将所获得的含有噪声标签特征的实例图Gins与图原型Gk输入图内传播层， 获得第 一特征矩阵和 第二特征矩阵， 将第一特征矩阵和 第二特征矩阵分别通过图卷积操作进 行迭 代更新； S5.2： 将迭代更新后的第一特征矩阵和第二特征矩阵输入所述图聚合层进行特征结 合， 获得聚合特 征向量； S5.3： 将所述聚合特征向量输入图间传播层进行图卷积操作， 并迭代更新所述聚合特 征向量， 获得第一特 征表达fins和第二特 征表达Zk； S5.4： 将第一特征表达fins和第二特征表达Zk输入图匹配层计算相似度Sk， 根据相似度 Sk计算图匹配损失 S5.5： 对含有噪声标签特征的实例图中的噪声标签进行修正以及对离群样本进行剔 除； S5.6： 计算分类交叉熵损失 和总损失 根据总损失 对所述图匹配神经网络模型 进行优化， 获得优化后的图匹配神经网络模型。 7.根据权利要求6所述的一种基于深度学习的网络监督细粒度图像识别方法， 其特征 在于， 所述步骤S5.4中， 将第一 特征表达fins和第二特征表达Zk输入图匹配层计 算相似度Sk， 根据相似度Sk计算图匹配损失 具体为： 将所述第一特征表达fins和第二特征表达Zk输入图匹配层进行图匹配， 并计算相似度 Sk， 具体为： 权　利　要　求　书 2/4 页 3 CN 115496948 A 3