(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210748412.8 (22)申请日 2022.06.29 (71)申请人 天津大学 地址 300071 天津市南 开区卫津路9 2号 (72)发明人 侯永宏　王辉　胡亚楠　 (74)专利代理 机构 天津盛理知识产权代理有限 公司 12209 专利代理师 陈娟 (51)Int.Cl. G06V 40/20(2022.01) G06V 20/40(2022.01) G06V 10/44(2022.01) G06V 10/774(2022.01) G06V 10/82(2022.01) G06N 3/04(2006.01) (54)发明名称 一种基于关系对比的无监 督表示学习方法 (57)摘要 本发明公开了一种基于关系对比的无监督 学习方法。 具体地， 本发明通过对比实例间的相 似性来构造损失函数， 指导神经网络的训练， 使 得神经网络模型能够从未标注的训练数据中提 取其最本质的特征， 能够在视频图像分类、 目标 识别等下游任务上取得更好的效果。 本发明利用 样本间相似性对比而不是正负样 本实例对比， 避 免了正负 样本选择不恰当而导 致的性能瓶颈 。 权利要求书2页 说明书5页 附图1页 CN 115147923 A 2022.10.04 CN 115147923 A 1.一种基于关系对比的无监 督表示学习方法， 其特 征在于： 包括如下步骤： 1)从可用数据集 提取原始数据s， 对其进行增强， 得到 两个不同的增强版本x和x ′； 2)构建一对结构完全相同的特征编码器， 称 为学生网络fs和教师网络ft， 并用编码器对 增强后的实例x和x ′进行特征提取得到嵌入特 征h和h′； 3)构建一对结构相同的非线性映射层g和g ′， 用于将x和x ′映射到高维特征空间得到高 维表示z和z ′， 之后学生网络添加一个与非线性映射层结构相同的预测网络p以生 成预测表 示p(z)， 在教师网络中则使用停止梯度操作； 4)构建实例队列Q＝[a0， a1， a2，……， aN‑1]保存之前批次其它实例样本的表示， 并计算 与当前实例间的相似度， 通过计算p(z) ， z ′和ai之间的相似度得到相似度集合 和 并对 做归一化处理， 得到 按照先进先 出的原则将z ′押入队列Q， 这里N表示队列长度， ai表示队列中实例的特 征嵌入表示； 5)计算损失函数 对损失函数求导， 利用 梯度下降法更新学生网络的参数， 然后从数据集中随机抽取新 的数据样本重复上述操作直到损失函数的值不再降低， 每隔M个操作， 将学生网络的参数赋 给教师网络； 6)从数据集中随机抽取新的数据样本， 重复得到Ps和Pt， 将Pt中取值最高的K个样本的 值置为1， 然后按照步骤5)计算损失函数， 按照步骤6)更新学生网络和教师网络的参数， 直 到损失函数的值 不再降低， 得到的特 征编码器作为成果输出。 2.根据权利要求1所述的基于关系对比的无监督表示学习方法， 其特征在于： 步骤1)所 述增强为时间/空间增强、 旋转、 裁 剪、 模糊， 颜色变化的一种或两种以上。 3.根据权利要求1所述的基于关系对比的无监督表示学习方法， 其特征在于： 步骤2)所 述特征编码器为 I3D、 Resnet或图卷积神经网络 。 4.根据权利要求1所述的基于关系对比的无监督表示学习方法， 其特征在于： 步骤3)所 述投影层包含两个线性层， 第一层包含批归一化层和Relu激活层， 输出长度为M1， 第二层的 输出长度则为M2， M1为M2的整数倍。 5.根据权利要求1所述的基于关系对比的无监督表示学习方法， 其特征在于： 步骤4)p (z)， z′和ai之间的相似度表示 为： 其中 表示L2标准化后的学生网络预测值 与队列中第i个实例ai之间的相似性， τ 为学生网络的温度系数， ( ·)表示在两个特征间做内积运算以度量相似度， 表示L2标准权　利　要　求　书 1/2 页 2 CN 115147923 A 2化后的教师网络投影z ′与队列中第i个实例ai之间的相似性， τ ′为教师网络的温度系数。 6.根据权利要求1所述的基于关系对比的无监督表示学习方法， 其特征在于： 步骤5)通 过最小化 步骤4)得到的两个相似度集 合Ps和Pt之间的交叉熵优化网络 。 7.根据权利要求1所述的基于关系对比的无监督表示学习方法， 其特征在于： 将Pt中取 值最高的K个样本 子集的值置为1， 即： 权　利　要　求　书 2/2 页 3 CN 115147923 A 3