(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210651264.8 (22)申请日 2022.06.09 (71)申请人 电子科技大 学中山学院 地址 528400 广东省中山市石岐区学院路1 号 (72)发明人 邹昆　任力　董帅　 (74)专利代理 机构 北京超凡宏宇专利代理事务 所(特殊普通 合伙) 11463 专利代理师 唐正瑜 (51)Int.Cl. G06V 10/42(2022.01) G06V 10/44(2022.01) G06V 10/774(2022.01) G06V 10/80(2022.01) G06V 10/82(2022.01)G06N 3/04(2006.01) (54)发明名称 一种图像类别预测方法、 装置、 电子设备及 存储介质 (57)摘要 本申请提供一种图像类别预测方法、 装置、 电子设备及存储介质， 用于改善对图像进行类别 预测的准确率较低的问题。 该方法包括： 获取待 处理图像， 并对待处理图像进行随机裁剪， 获得 局部图像； 分别提取出待处理图像中的全局特征 和局部图像中的局部特征； 使用图神经网络对全 局特征和局部特征进行聚合， 获得待处理图像的 聚合特征； 根据待处理图像的聚合特征与图神经 网络中的类原型聚合特征之间的相似度预测待 处理图像的类别， 类原型聚合特征是使用图神经 网络对已知类别标签对应的样本图像训练获得 的。 权利要求书2页 说明书14页 附图3页 CN 115035307 A 2022.09.09 CN 115035307 A 1.一种图像 类别预测方法， 其特 征在于， 包括： 获取待处 理图像， 并对所述待处 理图像进行随机 裁剪， 获得局部图像； 分别提取 出所述待处 理图像中的全局特 征和所述局部图像中的局部特 征； 使用图神经网络对所述全局特征和所述局部特征进行聚合， 获得所述待处理图像的聚 合特征； 根据所述待处理图像的聚合特征与所述图神经网络中的类原型聚合特征之间的相似 度预测所述待处理图像的类别， 所述类原型聚合特征是使用所述图神经网络对已知类别标 签对应的样本图像训练获得的。 2.根据权利要求1所述的方法， 其特征在于， 所述使用图神经网络对所述全局特征和所 述局部特 征进行聚合， 获得 所述待处 理图像的聚合特 征， 包括： 获取所述全局特征在所述图神经网络 中的待处理全局 节点， 以及所述局部特征在所述 图神经网络中的待处 理局部节点； 提取出所述待处 理全局节点与所述待处 理局部节点之间的待处 理边特征； 对所述待处理全局节点、 所述待处理局部节点和所述待处理边特征进行聚合处理， 获 得所述待处 理图像的聚合特 征。 3.根据权利要求1所述的方法， 其特征在于， 在所述使用图神经网络对所述全局特征和 所述局部特 征进行聚合之前， 还 包括： 获取多个样本图像和多个样本标签， 所述样本标签包括所述样本图像的类别标签； 使用所述多个样本图像和所述多个样本标签构建初始图结构； 以所述多个样本 图像为训练数据， 以所述多个样本标签为训练标签， 对所述初始图结 构进行训练， 获得 所述图神经网络 。 4.根据权利要求3所述的方法， 其特征在于， 所述使用所述多个样本图像和所述多个样 本标签构建初始图结构， 包括： 对所述多个样本图像中的每 个样本图像进行随机 裁剪， 获得多个样本局部图像； 分别提取出所述多个样本图像中的样本全局特征和所述多个样本局部图像中的样本 局部特征； 使用所述多个样本图像中的样本全局特征和所述多个样本局部图像中的样本局部特 征构建所述初始图结构。 5.根据权利要求4所述的方法， 其特征在于， 所述使用所述多个样本图像中的样本全局 特征和所述多个样本局部图像中的样本局部特 征构建所述初始图结构， 包括： 以所述多个样本图像中的样本全局特征为全局 节点， 并将所述多个样本图像对应的全 局节点相互连接， 获得全连接图； 以所述多个样本局部图像中的样本局部特征为局部节点， 并将该局部节点与 所述全连 接图中对应的全局节点相互连接， 获得 所述初始图结构。 6.根据权利要求3所述的方法， 其特 征在于， 所述对所述初始图结构进行训练， 包括： 对所述初始图结构进行聚合和平均处 理， 获得所述类原型的聚合特 征； 使用所述初始图结构提取出所述样本图像的聚合特征， 并计算所述样本图像的聚合特 征与所述类原型的聚合特 征之间的分类损失值； 使用所述初始图结构提取出所述样本图像的边特征， 并计算所述样本图像的边特征与权　利　要　求　书 1/2 页 2 CN 115035307 A 2所述样本标签 计算出的边特 征之间的边损失值； 根据所述分类损失值和所述 边损失值对所述初始图结构进行训练。 7.根据权利要求6所述的方法， 其特征在于， 所述对所述初始图结构进行聚合和平均处 理， 获得所述类原型的聚合特 征， 包括： 分别计算出所述初始图结构中的全局节点与全局 节点之间的第 一边特征， 以及所述初 始图结构中的全局节点与局部节点之间的第二 边特征； 针对所述初始图结构中的每个全局节点， 对该全局节点对应的样本全局特征、 第一边 特征和第二 边特征进行聚合和特 征转换更新， 获得全局聚合特 征； 针对所述初始图结构中的每个局部节点， 对该局部节点对应的样本局部特征和第 二边 特征进行聚合和特 征转换更新， 获得局部聚合特 征； 将每个类别对应的所述全局聚合特征和所述局部聚合特征进行平均处理， 获得所述类 原型的聚合特 征。 8.一种图像 类别预测装置， 其特 征在于， 包括： 图像获取裁剪模块， 用于获取待处理图像， 并对所述待处理图像进行随机裁剪， 获得局 部图像； 图像特征提取模块， 用于分别提取出所述待处理图像中的全局特征和所述局部图像中 的局部特 征； 聚合特征获得模块， 用于使用图神经网络对所述全局特征和所述局部特征进行聚合， 获得所述待处 理图像的聚合特 征； 图像类别预测模块， 用于根据 所述待处理图像的聚合特征与 所述图神经网络中的类原 型聚合特征之 间的相似度预测所述待处理图像的类别， 所述类原型聚合特征是使用所述图 神经网络对已知类别标签对应的样本图像训练获得的。 9.一种电子设备， 其特征在于， 包括： 处理器和存储器， 所述存储器存储有所述处理器 可执行的机器可读指 令， 所述机器可读指令被所述处理器执行时执行如权利要求1至7任一 所述的方法。 10.一种计算机可读存储介质， 其特征在于， 该计算机可读存储介质上存储有计算机程 序， 该计算机程序被处 理器运行时执 行如权利要求1至7任一所述的方法。权　利　要　求　书 2/2 页 3 CN 115035307 A 3