(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210362412.4 (22)申请日 2022.04.07 (71)申请人 中国科学技术大学 地址 230026 安徽省合肥市包河区金寨路 96号 (72)发明人 查正军　刘嘉威　吴蔚　 (74)专利代理 机构 安徽省合肥新 安专利代理有 限责任公司 34101 专利代理师 陆丽莉　何梅生 (51)Int.Cl. G06V 40/10(2022.01) G06V 20/52(2022.01) G06V 20/40(2022.01) G06V 10/44(2022.01) G06V 10/46(2022.01)G06V 10/74(2022.01) G06V 10/764(2022.01) G06V 10/84(2022.01) G06V 10/82(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01) G06K 9/62(2022.01) (54)发明名称 基于时序补偿引导的强化学习图像-视频行 人重识别方法 (57)摘要 本发明公开了一种基于时序补偿引导的强 化学习图像 ‑视频行人重识别方法， 包括： 1、 构建 序列特征提取网络； 2、 将行人视频与图像输入序 列特征提取网络， 提取由时序补偿的视频特征、 图像特征， 计算身份损失和三元 组损失对网络参 数进行更新； 3、 基于强化学习理论构建序列决策 模块网络， 设计奖励 计算该模块中的actor 网络和critic网络的损失以更新网络参数； 4、 根 据图像查询库和视频待检索库的行人特征计算 相似度矩阵， 获得检索结果。 本发明利用强化学 习理论动态 地选择所必需行人视频帧数， 能降低 行人视频中冗余信息和噪声对网络的干扰， 从而 在使用较少的帧数情况下实现高效、 准确地行人 图像‑视频匹配 。 权利要求书4页 说明书10页 附图1页 CN 114724182 A 2022.07.08 CN 114724182 A 1.一种基于时序补偿引导的强化学习图像 ‑视频行人重识别方法， 其特征在于， 包括如 下步骤： 步骤一、 行 人数据收集和预处 理： 分别采集不同场景的行人视频数据并逐帧使用行人检测方法和尺寸归一化法进行预 处理， 获得训练数据集 其中， x'i表示第i段行人视频， 且第i段行人视频 x'i所包含的帧数为ti， 即 表示第i段行人视频x'i内第t帧图像， y'i表示第 i段行人视频x'i对应的行人身份ID， 且 m表示任意一个行人的身份 ID， 表示训练数据集中D的身份ID数量； N表示训练数据集D中的行 人视频的数量； 步骤二、 构建批处 理视频数据： 步骤2.1、 从所述训练数据集D中随机采集p个行人身份ID， 且根据每个行人身份ID 分别 随机选取n段相应行人身份ID的行人视频， 再从每段行人视频中采样T帧图像， 从而由p ×n 段视频序列构成当前批的处理数据 其中， xj表示批处理数据X中时间长度为 T的第j段视频， 且 表示第j段视频xj中的第t帧图像， yj表示批处理数据X中 第j段视频xj中对应的行 人身份ID； 步骤2.2、 构建以ResNet ‑50深度学习网络为基础的序列特 征提取网络； 所述ResNet ‑50深度学习网络包括5个阶段， 其中， 第1个阶段Stage  0由一个卷积核为k1 ×k1的卷积层， 一个批量归一化处理层和一个ReLU激活函数层构成， 其余4个阶段均由 Bottleneck模块组成； 第2 个阶段Stage  1包含3个Bottleneck模块， 剩下3个阶段分别包括4 个、 6个、 3个Bottleneck模块， 每个Bottleneck模块由S个卷积层组成， 每个卷积层后均连接 一个批量归一 化处理层和一个ReLU激活函数层； 其中第s个卷积层的卷积核为Ks×Ks； 所述序列特征提取模块包含一个由ResNet ‑50网络前四个阶段构成的基础特征提取模 块， 一个多头注意力模块及T个补偿残差检测器； 其中， 所述多头注意力模块包含两个卷积层， 每个补充残差检测器包含一个由ResNet ‑ 50网络第五阶段构造的补偿特 征学习模块； 步骤2.3、 将当前批的处理数据X中的第j段视频xj输入所述序列特征提取网络， 经过所 述基础特征提取模块的处理后， 得到第j个基础特征 表示第j段视频xj中的 第t帧图像 对应的基础特 征； 当t＝1时， 第t帧图像 对应的基础特征 经过第t个补偿残差检测模块的提取后， 得 到第t帧图像 对应的特征 并令第t帧图像 对应的包含时序补偿信息的序列特征 其中， 表示前t‑1帧图像对应的包 含时序补偿信息的序列特 征， 且 当t≥2时， 前t ‑1帧图像对应的序列特 征 经由卷积核为1 ×1的降维卷积层和一个多 头注意力模块的处理后， 获得前t ‑1帧图像对应的维度为k2×c的显著性特征 其中， k2 表示显著区域的数量； 在第t个补偿残差检测器中， 将显著性特征 作为维度为k ×k×c的卷积核， 并与第t权　利　要　求　书 1/4 页 2 CN 114724182 A 2帧基础特征 进行卷积学习后获取前t ‑1帧图像对应的显著性特征 在第t帧图像 上 对应的显著区域的掩图 并利用式(1)得到第t帧图像 蕴含的补偿残差信息 所述补偿残差信息 经过第t个补偿特 征学习模块的处 理后得到补偿特 征 将 与前t‑1帧对应的包含时序补偿信息的序列特征 相加后获得前t帧对应的包 含时序补偿信息的序列特 征 第j段视频xj的所有帧图像对应的包含时序补偿信息的序列特征 经过一个时空平均 池化层后输出第j个特征集合 从而得到当前批的处理数据X的特征集合 其中， 表示第j段视频xj的前t帧图像提取的含时序补偿信息的序列特 征向量； 步骤2.4、 构建由actor网络和critic网络组成的智能体， 并作为序列决策模块网络； 其 中， critic网络包括 三个全连接层， actor网络包括 三个全连接层和一个Sigmo id函数层； 步骤2.4.1、 从当前批的处理数据X中获取与行人视频xj不同的行人视频x'j， 行人视频 x'j对应行人ID为y'j， 将行人视频x'j中的第一帧记为行人图像 Ii， 行人图像 Ii经过所述序列 特征提取网络后得到对应的图像特 征向量v'i； 步骤2.4.2、 在t时刻将第j段行人视频xj中第t帧图像 对应的基础特征 经池化层后 获得基础特 征向量 步骤2.4.3、 第j段行人视频xj中前t帧图像 对应的包含时序补偿信息的序列特征、 第t 帧图像 对应的基础特征向量 以及图像Ii对应的图像特征向量v'i输入所述actor网络 中进行运算， 并输出t时刻的动作at， 且at∈(0,1)； 若at≥0.5， 则 将 为第j段行人视频xj对 应的视频 特征向量 若at<0.5， 则将t+1赋值给t后， 返回步骤2.4.2顺序执 行； 步骤三、 使用行 人重识别损失更新序列特 征提取网络： 步骤3.1、 所述序列特征向量 经过一个全连接层的分类处理后， 输出的结果再经过 Softmax函数后得到对应行人身份ID的分类概率 其中， 表示行人视频xj每一帧被 为正确行人身份ID为yj的概率集合， 且 表示行人视频xj中第t帧被分类为 正确行人身份ID  yj的概率， 利用式(2)计算身份损失函数Lide： 步骤3.2、 利用式(3)计算当前批的处 理数据X的三元组损失Ltri：权　利　要　求　书 2/4 页 3 CN 114724182 A 3