(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211174947.5 (22)申请日 2022.09.26 (71)申请人 内蒙古工业大 学 地址 010080 内蒙古自治区呼和浩特市土 默特左旗内蒙古工业大 学金川校区 (72)发明人 刘春雷　王嘉泰　许志伟　刘广文　 王永生　 (74)专利代理 机构 西安智大知识产权代理事务 所 61215 专利代理师 段俊涛 (51)Int.Cl. G06V 10/762(2022.01) G06V 10/774(2022.01) G06V 10/82(2022.01) (54)发明名称 一种基于对比预测的多视图聚类方法 (57)摘要 一种基于对比预测的多视图聚类方法， 收集 若干样本的初始多视图数据， 每个样本的视图数 据数量为2， 将各样本划分为完整数据和不完整 数据； 构建网络1和网络2； 网络1中， 编码器将某 个样本的两种视图分别投影成潜在 表示， 两组预 测模块基于对比学习， 实现潜在表 示之间的相互 预测； 网络2以网络1的解码器生成生成器构建生 成对抗网络； 利用完整数据训练网络1； 利用不完 整数据训练网络2， 将不完整数据转化为假完整 数据； 利用假完整数据再次训练网络1， 将原始的 多视图数据传给网络1学习并获取潜在表示拼接 而成的公共表示， 在公共表示上使用Kmean s聚类 算法得到最后的聚类结果。 本发 明能够有效利用 不完整数据中的隐藏信息， 显著提升聚类表现。 权利要求书2页 说明书6页 附图4页 CN 115527052 A 2022.12.27 CN 115527052 A 1.一种基于对比预测的多视图聚类方法， 其特 征在于， 包括如下步骤： 步骤1， 收集若干样本的初始多视图数据， 每个样本的视图数据数量为2， 将各样本划分 为完整数据和 不完整数据； 所述完整数据是指样本的两种视图均未缺失， 不完整数据是指 样本的两种视图有一种缺失； 步骤2， 构建网络1和网络2； 所述网络1由两组自编码器和两组预测模块组成， 每组自编码器包含一个编码器和一 个解码器， 编码器将某个样本的两种视图X1和X2分别投影成潜在表示Z1和Z2； 两组预测模块 基于对比学习， 实现Z1和Z2之间的相互预测， 从而能够根据不完整数据中某一样本的未缺失 视图预测对应的缺失视图； 所述网络2由两组自编码器和两组生成对抗网络组成， 自编码器即所述网络1中的自编 码器， 且自编码器中的解码器作为 生成对抗网络中的生成器； 步骤3， 利用完整数据训练网络1； 步骤4， 利用不完整数据训练网络2， 网络2中的生成对抗网络基于未缺失视图填充对应 的缺失视图， 将不完整数据转 化为假完整数据； 步骤5， 将网络2生成的假完整数据再次喂给网络1训练， 直至训练完毕； 步骤6， 将原始的多视图数据传给网络1学习并获取潜在表示拼接而成的公共表示， 在 公共表示上使用Kmeans聚类算法得到最后的聚类结果。 2.根据权利要求1所述基于对比预测的多视图聚类方法， 其特征在于， 所述步骤1中， 样 本的两种视图为同一样本的不同角度视图， 或同一样本的同一角度不同模态的视图。 3.根据权利要求1所述基于对比预测的多视图聚类方法， 其特征在于， 所述网络1中， 基 于Z1和Z2计算预测损失和对比学习损失并反向传播更新梯度； 通过对比学习的方法最大化 Z1和Z2之间的互信息以挖掘不同视图数据的公共语义； 每组所述预测模块均 带有动量的网 络， 以实现Z1和Z2之间的相互预测， 使预测模块能根据不完整数据中某一样本的未缺失视图 预测对应的缺失视图。 4.根据权利要求3所述基于对比预测的多视图聚类方法， 其特征在于， 所述网络1中， 基 于Z1和Z2， 构造三个目标函数： i)通过自编码器重构不同视图得到的损失 其中gv表示第v种视图的解码器， 表示第n个样本第v种视图的潜在表示， 由下式给 出： 其中fv表示第v种视图的编码器， v∈{1,2}； ii)通过对比学习， 最大化Z1和Z2之间的互信息， 相应的损失用 表示。 其中H为信息熵， MI 为互信息， 并引入一个正则化项， 参数γ＝9， MI按以下公式计算：权　利　要　求　书 1/2 页 2 CN 115527052 A 2iii)通过无负样本的对比学习， 利用两个对称的预测模块对Z1和Z2进行预测， 以缓解不 同观点之间的不一致性， 损失函数用 表示， 两个预测模块构成了Z1和Z2的对比学习模 块， 每个预测模块由在线分支和目标分支 组成， 在线分支由解码器do、 投影器po和另一个预 测器ho组成， 目标分支由解码器dt和投影器pt组成； 利用均方误差损失函数， 使在线分支与 目标分支方法的输出一 致， 该过程用以下损失函数表示： 通过在线分支得到的潜在表示Z1的输出定义 为 之后， 将Z1喂给目标分支， 将Z2喂给在线分支， 该 过程被定义 为 预测模块的损失函数为： 最后， 得到训练网络1的总体目标函数如下： 5.根据权利要求4所述基于对比预测的多视 图聚类方法， 其特征在于， 所述步骤4中不 完整数据表示为{I1,I2}， 将不完整的视图数据I1和I2分别输入到网络2的自编码器f1， f2， 解 码器g1和g2作为GAN结构的生成器， 每个解码器gv对应设置一个判别器Dv， 形成一个GAN网 络； 其中， 首先利用解码器gv， 根据Iv生成 然后， 判别 器Dv判断 是否为真， 训练生成器G 和鉴别器D两种模型， 目标函数为定义 为： 根据不完整的视图数据Iv， 相应的缺失数据 通过网络2生成并以相应的模态对其进行 填充， 得到假完整数据 6.根据权利要求5所述基于对比预测的多视图聚类方法， 其特征在于， 所述步骤6 中， 将 原始多视图数据喂给训练好的网络1， 缺 失的视图数据会被预测模块填充， 并得到一个多视 图高维公共表示； 基于该公共表示， 使用Kmeam s聚类算法得到最后的聚类结果。权　利　要　求　书 2/2 页 3 CN 115527052 A 3