(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210674288.5 (22)申请日 2022.06.14 (71)申请人 电子科技大 学长三角研究院 （衢州） 地址 324000 浙江省衢州市柯 城区芹江东 路288号1幢18楼 (72)发明人 刘明　王晓敏　范世晓　龚海刚　 程旋　解天舒　邓佳丽　 (74)专利代理 机构 北京天奇智新知识产权代理 有限公司 1 1340 专利代理师 杨春 (51)Int.Cl. G06V 10/44(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01) G06V 10/764(2022.01)G06V 10/774(2022.01) G06V 10/82(2022.01) (54)发明名称 一种基于通道自监 督的在线知识蒸馏方法 (57)摘要 本发明涉及一种基于通道自监督的在线知 识蒸馏方法， 包括： 粗粒度特征提取步骤： 将数据 进行归一化处理后的输出结果output分别输入 到两个网络模 型中进行特征提取； 自监督学习步 骤： 将经过粗粒度特征提取步骤后的特征图输入 到样本多样性模块中进行特征转换操作， 对数据 输出不同的联合标签； 在线动态蒸馏步骤： 通过 对两个网络模型分别设置一个动态系数对具有 同样特征转换的分支之间进行相互学习， 不断优 化两个网络多样性模块的权重， 并在损失函数值 最小时输出输入样本的标签。 本发明随着样本、 网络和分支多样性的增强， 样本数据量变大， 人 工标注标签任务繁琐， 在知识蒸馏中加入自监督 学习， 使其不需要人工干预， 可 以降低成本和资 源。 权利要求书2页 说明书9页 附图2页 CN 114913343 A 2022.08.16 CN 114913343 A 1.一种基于通道自监督的在线知识蒸馏方法， 其特征在于： 所述在线知识蒸馏方法包 括： 粗粒度特征提取步骤： 将数据进行归一化处理后的输出结果output分别输入到两个网 络模型中进行 特征提取； 自监督学习步骤： 将经过粗粒度特征提取步骤后的特征图输入到样本多样性模块中进 行特征转换操作， 对数据输出不同的联合标签； 在线动态蒸馏步骤： 通过对两个网络模型分别设置一个动态系数对具有同样特征转换 的分支之间进行相互学习， 不断优化两个网络多样性模块的权重， 并在损失函数值最小时 输出输入样本的标签。 2.根据权利要求1所述的一种基于通道自监督的在线知识蒸馏方法， 其特征在于： 所述 粗粒度特征提取步骤具体包括： 将归一化后的样本送入到网络模型的卷积层对输入的数据 进行下采样， 使其能最大程度的保留原始图像信息， 随后将输出通过BN层和激活函数后的 值送入到网络模型前两层进行卷积操作， 通过卷积层中不同的卷积核对图像中不同的特征 进行提取， 每个卷积核在原图上滑动进行卷积计算生成一张特征图， 针对不同的特征 的卷 积核进行卷积操作后生成一系列的特征图， 完成对输入样本进行粗粒度特征提取， 池化层 通过一个固定的函数进行运 算， 不需要保留参数。 3.根据权利要求1所述的一种基于通道自监督的在线知识蒸馏方法， 其特征在于： 所述 自监督学习步骤具体包括： 将经过池化后的特征图送入到样本多样性模块中进行特征转换 操作， 对于不同特征转换 的特征图送入到网络不同的分支中， 在目标多样性模块中生成与 不同特征增强方式对于的标签， 在分支中进 行自监督学习使网络模型识别需要丢弃方位的 特征信息， 提高网络模型的识别能力， 最后通过分类器对数据输出不同的联合标签， 表示图 像原本的分类和进行的特 征增强方式。 4.根据权利要求1所述的一种基于通道自监督的在线知识蒸馏方法， 其特征在于： 所述 样本多样性模块在特征层级构 造样本的多样性提取低级特征图， 通过设置非重叠掩码来丢 弃中间特征图中每个通道 四分之一的信息， 这些不重叠的掩码避免了后续的分类冲突， 为 后续提供具有差异 性的输入避免训练后期网络的同质化， 同时丢弃通道部 分信息使网络模 型更多地关注图像的全局内容， 防止网络模型过度依赖某一特定的视觉特征， 并让网络模 型对丢掉的特 征信息进行识别来训练网络的特 征识别能力， 提高分类任务的精度。 5.根据权利要求1所述的一种基于通道自监督的在线知识蒸馏方法， 其特征在于： 所述 目标多样性模块使用一个联合标签来进行标签增强， 以匹配对原始数据进 行不同的特征转 换， 每个原始标签都会多一个额外的标签来表明不同中间特征图的数据增强， 在进行标签 增强时标签容量被扩充， 扩充的标签空间连通特征转换的特征图形成一个自监督学习任 务， 对于扩充后的联合标签和不同特征转换 的分类任务， 网络模型强制识别相同样本不同 的数据增强方式， 使网络模型更好地识别不同的特征， 同时在进 行样本多样性操作时， 不同 的分支接 收不同特征变化后的特征图， 不同的分支通过不同的联合标签进行优化， 以增加 分支的多样性。 6.根据权利要求1所述的一种基于通道自监督的在线知识蒸馏方法， 其特征在于： 所述 在线知识蒸馏步骤中将第一个网络模型的动态系数设置为α1， 第二个网络模型的动态系数 设置为α2， 且α2＝1/α1， 使用第一个网络模型对第二个网络模型预测的概率分布作为指导，权　利　要　求　书 1/2 页 2 CN 114913343 A 2使用KL散度来衡量两个网络模型 预测概率之间的差距， 从而对第一个网络模型进行优化。 7.根据权利要求1 ‑6中任意一项所述的一种基于通道自监督的在线知识蒸馏方法， 其 特征在于： 所述在线知识蒸馏方法还包括数据预 处理步骤， 所述数据预处理步骤包括： 对图 片通过随机裁剪和水平翻转进行数据增强， 并通过Output＝(input ‑mean)/std对增强后的 数据进行归一化处理， 让数据都划分在一个固定的小区间内， 其中， mean表 示用于通道归一 化的均值， std表示用于通道归一 化的标准差的值， i nput表示输入数据。权　利　要　求　书 2/2 页 3 CN 114913343 A 3