(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211424993.6 (22)申请日 2022.11.15 (71)申请人 杭州涿溪脑与智能研究所 地址 311100 浙江省杭州市余杭区仓兴街 1390号 申请人 清华大学 (72)发明人 丁贵广　熊翊哲　陈辉　陈仕江　 (74)专利代理 机构 北京清亦华知识产权代理事 务所(普通 合伙) 11201 专利代理师 张润 (51)Int.Cl. G06V 10/774(2022.01) G06V 10/764(2022.01) G06V 10/80(2022.01) (54)发明名称 一种基于数据混合的工业领域自适应方法 (57)摘要 本发明提出一种基于数据混合的工业领域 自适应方法， 包括， 获取待训练的 图像数据集， 图 像数据集包括源域数据和目标域数据； 构建基线 模型， 通过图像数据集对基线模型进行训练， 并 通过最小化基本损失函数对基线模 型进行优化， 获取初始图像 分类模型； 对图像数据集进行重新 构造， 通过信息熵筛选的方法， 获取源域数据和 目标域数据中较高置信度的数据， 并通过伪标签 与MixUp数据增广的方法获取包含较高置信度的 数据的融合 分布的有监督数据集； 通过有监督数 据集对初始图像 分类模型进行训练， 获取完成的 图像分类模型。 通过本发明提出的方法， 解决了 标注数量较少条件下的工业场景无监督领域自 适应问题。 权利要求书2页 说明书11页 附图3页 CN 115496972 A 2022.12.20 CN 115496972 A 1.一种基于数据混合的工业领域自适应方法， 其特 征在于， 包括以下步骤： 获取待训练的图像数据集， 所述图像数据集包括源域数据和目标域数据； 构建基线模型， 通过所述图像数据集对所述基线模型进行训练， 并通过最小化基本损 失函数对所述基线模型进行优化， 获取初始图像分类模型； 对所述图像数据集进行重新构造， 通过信息熵筛选的方法， 获取所述源域数据和所述 目标域数据中较高置信度的数据， 并通过伪标签与MixUp数据增广的方法获取包含所述较 高置信度的数据的融合分布的有监 督数据集； 通过所述有监督数据集对所述初始图像分类模型进行训练， 获取完成的图像分类模 型。 2.根据权利要求1所述的方法， 其特 征在于， 在获取完成的图像分类模型之后， 还 包括： 获取待分类图像数据； 将所述待分类图像数据输入所述图像分类模型， 获取图像分类结果。 3.根据权利要求1所述的方法， 其特 征在于， 在构建基线模型之后， 还 包括： 获取源域特征库存储图像数据集中所有的源域特征， 将所述特征库中的高置信度源域 特征 送至所述基线模型的分类头与Softmax层中， 得到与 对应的预测概率分布 ， 通过使用注意力机制构造源域原型 特征： 。 4.根据权利要求1所述的方法， 其特征在于， 所述通过最小化所述基本损失函数对所述 基线模型进行训练， 获取初始图像分类模型， 包括： 通过采用伪标签训练的方法加强所述基线模型对类别 信息的学习； 采用旋转预测代理任务的方法加强所述基线模型对图像特 征的学习。 5.根据权利要求1所述的方法， 其特征在于， 所述对所述图像数据集进行重新构造， 包 括： 选取用于融合的源域与目标域特 征； 使用MixUp数据增广对所述源域与目标域特 征的数据进行融合。 6.根据权利要求1所述的方法， 其特征在于， 所述通过信息熵筛选的方法， 获取所述源 域数据和所述目标域数据中较高置信度的数据， 包括： 采用置信度过 滤的方法， 筛 选置信度较高的目标域特 征； 使用信息熵筛选法， 按照固定比例 筛选出分类预测结果对应信息熵较低的目标域 特征集合 ： ， 通过伪标签产生用于融合的目标域特 征标签， 构造用于融合的目标域 集合权　利　要　求　书 1/2 页 2 CN 115496972 A 2其中 即为图像特 征 对应的图像。 7.根据权利要求1所述的方法， 其特征在于， 所述通过信息熵筛选的方法， 获取所述源 域数据和所述目标域数据中较高置信度的数据， 包括： 对有标注的源域特征， 通过特征提取器与 瓶颈层的前馈过程生成的图像特征 对应的 图像 与其对应标注 构造的用于融合的有标注源域集合 参与后续融合 过程； 对于无标注的源域特征， 采用网络分类概率预测生成的伪标签作为这部分特征的标 签： 其中， ； 使用信息熵筛选法， 按照固定比例 筛选出分类预测结果对应信息熵较低的无标注 源域特征集合 ， 同时构造用于融合的无 标注源域 集合 。 8.根据权利要求1所述的方法， 其特征在于， 所述通过伪标签与MixUp数据增广的方法 获取包含所述较高置信度数据的融合分布的有监 督数据集， 包括： 获取融合数据集： ， 采用交叉熵监 督所述融合数据集： 。 9.一种基于数据混合的工业领域自适应装置， 其特 征在于， 包括以下模块： 获取模块， 用于获取待训练的图像数据集， 所述图像数据集包括源域数据和目标域数 据； 构建模块， 用于构建基线模型， 通过所述图像数据集对所述基线模型进行训练， 并通过 最小化基本损失函数对所述基线模型进行优化， 获取初始图像分类模型； 重构模块， 用于对所述图像数据集进行重新构造， 通过信 息熵筛选的方法， 获取所述源 域数据和所述目标域数据中较高置信度的数据， 并通过伪标签与MixUp数据增广的方法获 取包含所述较高置信度的数据的融合分布的有监 督数据集； 训练模块， 用于通过所述有监督数据集对所述初始图像分类模型进行训练， 获取完成 的图像分类模型。 10.根据权利要求9所述的装置， 其特 征在于， 还 包括分类模块， 用于： 获取待分类图像数据； 将所述待分类图像数据输入所述图像分类模型， 获取图像分类结果。权　利　要　求　书 2/2 页 3 CN 115496972 A 3