(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210589976.1 (22)申请日 2022.05.26 (71)申请人 重庆大学 地址 400044 重庆市沙坪坝区沙正 街174号 (72)发明人 葛永新　李自强　徐玲　洪明坚　 杨梦宁　黄晟　王洪星　张小洪　 杨丹　 (74)专利代理 机构 重庆晟轩知识产权代理事务 所(普通合伙) 50238 专利代理师 孔玲珑 (51)Int.Cl. G06V 20/40(2022.01) G06V 10/44(2022.01) G06V 10/764(2022.01) G06V 10/82(2022.01)G06K 9/62(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 一种基于对抗学习的弱监督时序行为定位 方法 (57)摘要 本发明涉及一种基于对抗学习的弱监督时 序行为定位方法， 包括如下步骤： 从公开数据集 中选取未裁剪视频数据,将每个未剪切视频分解 为不重复的帧片段， 然后提取每个帧片段的原始 特征； 利用原始特征总数X计算时序连续性支流 的输入特征数据Xt； 计算基础支流的和时序连续 性支流的类激活序列分数及类时序注 意力分数； 将整体模型的类时序注意力分数和类时序注意 力分数进行一致性约束； 计算TEN网络模型的总 损失函数同时对TEN网络模型进行训练， 然后得 到训练好的TEN网络模型； 将待预测未剪切视频 数据输入到训练好的TEN网络模型中， 得到对待 预测未剪切视频的行为定位。 通过使用本方法可 以对任意待预测视频中的时序行为进行精确定 位。 权利要求书3页 说明书14页 附图2页 CN 114842402 A 2022.08.02 CN 114842402 A 1.一种基于对抗学习的弱监 督时序行为定位方法， 其特 征在于： 包括如下步骤： S100： 从公开数据集中选取N个未裁剪视频数据 相对应的视频级类别标签为 C表示行为类别数量； S200： 将每个未剪切视频 分解为不重复的帧片段， 所有的帧片段总数量为T且帧 片段包含RGB模态和光流模态， 然后使用预训练I3D模型提取每个帧片段的原始特征， 所有 帧片段的原始特征总数为X， 其中X包括RGB模态特征 和光流模态特征 其中， D表示所提取 特征的通道数目； 使用TEN网络模型， TEN网络模型包括基础支流和时序连续 性支流两 部分； S300： 利用原 始特征总数X计算时序连续 性支流的输入特 征数据Xt； S400： 计算基础支流的类激活序列分数和类时序注意力分数， 以及时序连续性支流的 类激活序列分数和类时序注意力分数； S410： 计算基础支流的类激活序列分数， 具体步骤如下： S411： 采用时序卷积层Φr对RGB模态特征Xr进行特征编码， 得到新RGB特征编码 采用 时序卷积层Φf对光流模态特 征Xf进行特征编码， 得到新 光流特征编码 具体表达式如下： 其中， 和 分别表示RGB模态和光流模态两个模态下编码的新特征， 和 分别表示RGB模态和光流模态两个模态的可学习参数， E表示新编码特征的通道 数； S412： 通过分类 器方法计算基础支流的类激活序列分数， 计算表达式如下： 其中， 和 分别表示RGB模态和光流模态下的类激活序列分 数， 和 是全连接层的权重参数， 和 分别表示RGB模态和光流模态对应的偏置 项； S413： 根据RGB模态和光流模态下的类激活序列分数， 计算得到基础支流的类激活序列 分数 S420： 采用时序注意力机制计算基础支流的类时序注意力分数， 具体表达式如下： 其中， 和 表示RGB模态和光流模态两个模态 下对应的类时序注意力 分数， σ(·)表示sigmoid激活函数， 和 表示全连接层权重参数， 和 分别表示 RGB模态和光 流模态对应的偏置项； S421： 根据RGB模态和光流模态下的类时序注意力分数， 计算得到基础支流的类时序注 意力分数 其中， i表示第i个帧片段 特征； S430： 计算基础支流的交叉熵损失， 该部分的交叉熵损失包括行为分数损失 和背景 分数 具体步骤如下： S431： 通过将未剪切视频的类激活序列分数和类时序注意力分数进行聚合， 计算未剪权　利　要　求　书 1/3 页 2 CN 114842402 A 2切视频的行为分数Pfg和背景分数Pbg， 表达式如下： 其中， τ表示softmax激活函数， 和 均表示归一化因子， ai 表示第i帧片段的行为分数， (1 ‑ai)表示第i帧片段的背景分数； S432： 根据未剪切视频的行为分数Pfg和背景分数Pbg计算行为分数损失 和背景分数 表达式如下： 其中， C+1表示 为背景类别标签， 表示给定的真实训练类别标签； S440： 采用时序卷积层和分类器方法计算得到时序连续性支流的类激活序列分数 采用时序注意力机制计算得到时序连续性支流的类时序注意力分数 S500： 使用平均绝对值误差L1函数将基础支流的类时序注意力分数 和时序连续性支 流的类时序注意力分数 进行一致性约束， 计算表达式如下： 其中， G(·)表示时序维度上的高斯平 滑滤波函数； 使用KL散度函数进行知识蒸馏对基础支流的类激活序列分数 和时序连续性支流的 类激活序列分数 进行一致性约束， 计算表达式如下： 其中， τ(·)表示sigmoid激活函数， 表示c类别上的时序连续性支流的类激活序列 分数； S600： 将 和 进行合并得到TEN网络模型的总损失函数Lall， 表达式如下： 其中， λ和β表示控制各项损失权重平衡的超参数， 表示行为损失， 表示背景损 失； S700： 利用S600得到 的总损失函数对TEN网络模型进行训练， 使用梯度反传对TEN网络 模型参数进行 更新， 当训练达 到最大迭代次数时停止训练， 得到训练好的TEN网络模型； S800： 将待预测未剪切视频数据输入到训练好的TEN网络模型中， 得到待预测未剪切视 频的类激活序列分数 和类时序注意力分数 S810： 预设类激活序列分数阈值ρcls， 利用softmax对yO进行归一化处理得到概率分数 当 时， 则进行 下一步； S820： 将 和aO进行融合得到最终用于定位 的分数序列SL， 此时SL即为对待预测 未剪 切视频的行为定位， 表达式如下： 权　利　要　求　书 2/3 页 3 CN 114842402 A 3