(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210333714.9 (22)申请日 2022.03.30 (71)申请人 河北工业大 学 地址 300130 天津市红桥区光 荣道8号 申请人 北京市新 技术应用研究所有限公司 (72)发明人 朱成博　曲寒冰　王鑫轩　李国鑫　 阎刚　 (74)专利代理 机构 北京庚致知识产权代理事务 所(特殊普通 合伙) 11807 专利代理师 韩德凯 (51)Int.Cl. G06V 40/10(2022.01) G06V 10/42(2022.01) G06V 10/44(2022.01) G06V 10/46(2022.01)G06V 10/764(2022.01) G06V 10/774(2022.01) G06V 10/82(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 基于多分支网络的无监督行人重识别方法 及装置 (57)摘要 本公开提供一种基于多分支网络的无监督 行人重识别训练方法， 包括： 源域训练和目标域 训练， 在源域训练阶段， 将带有标签的图像输入 至预训练模 型进行训练， 获得训练好的预训练模 型； 在目标域训练阶段， 将无标签的图像输入至 目标域训练模型中， 经训练， 获得行人重识别模 型。 本公开还提供了一种基于多分支网络的无监 督行人重识别训练装置， 以及一种基于多分支网 络的无监督行人重识别方法、 装置、 电子设备 以 及可读存 储介质。 权利要求书3页 说明书14页 附图6页 CN 114882521 A 2022.08.09 CN 114882521 A 1.一种基于多分支网络的无监 督行人重识别训练方法， 其特 征在于， 包括： 源域训练， 在所述源域训练阶段， 将带有标签的图像输入至预训练模型进行训练， 获得 训练好的预训练模型； 以及 目标域训练， 在所述目标域训练阶段， 将无标签的图像输入至目标域训练模型中， 经训 练， 获得行人重识别模型； 其中， 所述标签用于标识图像的类别， 所述图像的类别与图像中包含的行人对应， 所述 目标域训练模型的组成包括所述源域训练阶段获得的训练好的预训练模型。 2.根据权利要求1所述的基于多分支网络的无监督行人重识别训练方法， 其特征在于， 所述预训练模型的训练过程包括： 将训练集中的各个图像及图像对应的标签输入至预训练模型， 经所述训练模型处理 后， 输出各个图像的第一全局特征和 第一局部特征， 所述标签用于标识图像的类别， 所述图 像的类别与图像中包 含的行人对应； 将所述第一全局特征和第 一局部特征输入至第 一分类器， 分别获得所述第 一全局特征 和第一局部特征对应的预测值， 所述预测值用于标识经所述第一分类器分类后的与所述第 一全局特 征和第一局部特 征对应的图像的类别； 以及 构建预训练损 失函数， 并通过所述预训练损 失函数计算训练效果， 反复训练所述预训 练模型直至所述预训练损失函数的计算 值达到预期指标； 其中， 所述预训练损失函数通过交叉熵损失函数、 三元组损失函数的加权求和获得。 3.根据权利要求2所述的基于多分支网络的无监督行人重识别训练方法， 其特征在于， 所述预训练模型的组成包括： 主干网络模型， 所述主干网络模型串行连接各个分支网络模型， 接收输入至预训练模 型的图像， 将所述图像处 理后， 将获得的图像特 征输入至各个分支网络模型； 以及 分支网络模型， 所述分支网络模型至少为两个， 包括全局分支网络模型和局部分支网 络模型， 所述全局分支网络模型通过将所述图像特征全局 最大池化后得到全局特征， 所述 局部分支网络模型将所述图像的图像特 征平均池化后拼接在一 起得到局部特 征； 其中， 所述主干网络的组成包括卷积神经网络和卷积模块注意力机制模块， 所述分支 网络的组成包括卷积神经网络和卷积模块注意力机制模块。 4.根据权利要求3所述的基于多分支网络的无监督行人重识别训练方法， 其特征在于， 所述注意力模块包括： 通道注意力模块， 接收图像特征， 所述图像特征为输入至所述主干网络模型的图像经 所述主干模型处理后获得， 将所述图像的特征分别进行全局最大池化操作和平均池化操 作， 得到两个第一特征图， 将所述两个第一特征图进 行拼接操作， 再经过卷积层和归一化操 作， 生成空间注意力权值； 以及 空间注意力模块， 接收所述通道注意力模块输出的特征图， 将通道注意力模块输出的 特征图分别进行全局 最大池化操作和全局平均池化操作， 得到两个第二特征图， 将所述两 个第二特征图基于图像通道做拼接操作， 再经过卷积层和归一化操作， 生成空间注意力权 值； 其中， 所述 通道注意力模块与所述空间注意力模块 通过串行的方式进行 连接。 5.根据权利要求1所述的基于多分支网络的无监督行人重识别训练方法， 其特征在于，权　利　要　求　书 1/3 页 2 CN 114882521 A 2所述目标域训练模型包括： 教师网络， 接收目标域训练集的各个图像， 输出与各个图像对应的第二全局特征和第 二局部特 征； 学生网络， 接收目标域训练集的各个图像， 输出与各个图像对应的第三全局特征和第 三局部特 征； 第二分类器， 接收教师网络输出的第二全局特征和第二局部特征， 输出分别与所述第 二全局特征和所述第二局部特征对应的图像的软标签， 所述软标签用于标识所述目标域训 练集中对应的图像的类别； 聚类模型， 接收教师网络输出的第二全局特征和第二局部特征拼接后的特征， 经过聚 类， 生成硬标签， 所述硬标签用于标识所述目标域训练集中对应的图像的类别； 以及 第三分类器， 接收学生网络输出的第三全局特征和第三局部特征， 输出与所述第三全 局特征和所述第三局部特征对应的图像的预测值， 所述预测值用于标识目标域训练集中对 应的图像的类别； 目标域训练损 失函数计算模块， 构建目标域训练损 失函数， 并通过目标域训练损 失函 数计算训练效果 其中， 所述教师网络、 学生网络的结构与所述源域训练阶段的预训练模型的结构一致， 为所述源域训练阶段 得到的训练好的预训练模型。 6.一种基于多分支网络的无监 督行人重识别训练装置， 其特 征在于， 包括： 源域训练模块， 包括； 主干网络模型， 所述主干网络模型串行 连接各个分支网络模型； 分支网络模型， 所述分支网络模型至少为两个， 包括全局分支网络模型和局部分支网 络模型， 所述全局分支网络模型通过全局 最大池化得到全局特征， 所述局部分支网络模型 将各个特 征平均池化后拼接在一 起得到局部特 征； 以及 预训练损 失函数计算模块， 构建预训练损 失函数， 并通过预训练损 失函数计算训练效 果； 目标域训练模块， 包括： 教师网络， 接收目标域训练集的各个图像， 输出与各个图像对应的第二全局特征和第 二局部特 征； 学生网络， 接收目标域训练集的各个图像， 输出与各个图像对应的第三全局特征和第 三局部特 征； 第二分类器， 接收教师网络输出的第二全局特征和第二局部特征， 输出分别与所述第 二全局特征和所述第二局部特征对应图像的软标签， 所述软标签用于标识所述目标域训练 集中对应的图像的类别； 聚类模型， 接收教师网络输出的第二全局特征和第二局部特征拼接后的特征， 经过聚 类， 生成硬标签， 所述硬标签用于标识所述目标域训练集中对应的图像的类别； 第三分类器， 接收学生网络输出的第三全局特征和第三局部特征， 输出与所述第三全 局特征和所述第三局部特征对应图像的预测值， 所述预测值用于标识目标域训练集中对应 的图像的类别； 以及 目标域训练损 失函数计算模块， 构建目标域训练损 失函数， 并通过目标域训练损 失函权　利　要　求　书 2/3 页 3 CN 114882521 A 3