(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210564026.3 (22)申请日 2022.05.23 (71)申请人 马上消费金融股份有限公司 地址 401120 重庆市渝北区黄山大道中段 52号渝兴广场B2栋4至8楼 (72)发明人 李艾仑　王洪斌　吴至友　皮家甜　 曾定衡　 (74)专利代理 机构 北京国昊天诚知识产权代理 有限公司 1 1315 专利代理师 徐晨影 (51)Int.Cl. G06V 20/40(2022.01) G06V 10/764(2022.01) G06V 10/44(2022.01) G06V 40/16(2022.01)G06V 10/774(2022.01) G06V 10/82(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01) G06K 9/62(2022.01) (54)发明名称 视频检测方法、 视频检测模 型的训练方法及 装置 (57)摘要 本申请公开了一种视频检测方法及装置， 用 于解决现有的伪造视频检测方法存在的检测准 确率低、 通用性差的问题。 所述视频检测方法包 括： 获取待检测视频中目标人脸的至少一帧视频 图像和基于时序排列的目标人脸的多帧第一光 流图像； 通过视频检测模型对所述至少一帧视频 图像进行特征提取， 得到所述目标人脸的脸部情 绪特征； 通过所述视频检测模型对 所述多帧第一 光流图像进行特征提取， 得到所述目标人脸的脸 部动作特征； 至少基于所述目标人脸的脸部情绪 特征和脸部动作特征， 确定所述待检测视频的检 测结果。 权利要求书3页 说明书18页 附图6页 CN 114842399 A 2022.08.02 CN 114842399 A 1.一种视频检测方法， 其特 征在于， 包括： 获取待检测视频中目标人脸的至少一帧视频图像和基于时序排列的目标人脸的多帧 第一光流图像； 通过视频检测模型对所述至少一帧视频图像进行特征提取， 得到所述目标人脸的脸部 情绪特征； 通过所述视频检测模型对所述多帧第 一光流图像进行特征提取， 得到所述目标人脸的 脸部动作特 征； 至少基于所述目标人脸的脸部情绪特征和脸部动作特征， 确定所述待检测视频的检测 结果。 2.根据权利要求1所述的方法， 其特征在于， 所述至少基于所述目标人脸的脸部情绪特 征和所述 脸部动作特 征， 确定所述待检测视频的检测结果， 包括： 基于所述至少一帧视频图像， 确定所述目标 人脸的瞳孔大小； 基于所述目标人脸的脸部情绪特征及瞳孔大小， 确定所述待检测视频的第一检测结 果； 基于所述目标人脸的脸部动作特征以及所述待检测视频的语音数据， 确定所述待检测 视频的第二检测结果； 基于所述第一检测结果和所述第二检测结果， 确定所述待检测视频的检测结果。 3.根据权利要求2所述的方法， 其特征在于， 所述基于所述目标人脸的脸部情绪特征及 瞳孔大小， 确定所述待检测视频的第一检测结果， 包括： 通过所述视频检测模型中的情绪识别网络对将所述目标人脸的脸部情绪特征进行情 绪识别， 得到所述目标 人脸的情绪状态； 基于所述目标人脸的情绪状态与 所述目标人脸的瞳孔大小之间的匹配状态， 确定所述 待检测视频的第一检测结果。 4.根据权利要求2所述的方法， 其特征在于， 所述基于所述至少一帧视频图像， 确定所 述目标人脸的瞳孔大小， 包括： 基于预设图像分割算法， 从所述至少一帧视频图像中分割出所述目标人脸的眼部区 域； 基于预设边缘检测算法对所述目标人脸的眼部区域进行边缘检测， 以得到所述目标人 脸的瞳孔 边界； 基于预设拟合算法和所述目标人脸的瞳孔边界， 对所述眼部区域进行拟合处理， 得到 所述目标 人脸的瞳孔大小。 5.根据权利要求2所述的方法， 其特征在于， 所述基于所述目标人脸的脸部动作特征以 及所述待检测视频的语音数据， 确定所述待检测视频的第二检测结果， 包括： 通过所述视频检测模型的语音识别网络对所述待检测视频的语音数据进行语音识别， 得到所述语音数据对应的目标脸部动作特 征； 基于所述目标人脸的脸部动作特征与所述语音数据对应的目标脸部动作特征之间的 匹配状态， 确定所述待检测视频的第二检测结果。 6.根据权利要求1所述的方法， 其特征在于， 所述通过视频检测模型对所述至少一帧视 频图像进行 特征提取， 得到所述目标 人脸的脸部情绪特 征， 包括：权　利　要　求　书 1/3 页 2 CN 114842399 A 2通过所述视频检测模型中的空间流网络对所述至少一帧视频图像进行特征提取， 得到 所述目标 人脸的脸部情绪特 征； 通过所述视频检测模型对所述多帧第 一光流图像进行特征提取， 得到所述目标人脸的 脸部动作特 征， 包括： 通过所述视频检测模型中的时间流网络对所述多帧第 一光流图像进行特征提取， 得到 所述目标 人脸的脸部动作特 征。 7.根据权利要求1所述的方法， 其特征在于， 所述获取待检测视频中目标人脸的至少一 帧视频图像， 包括： 将所述待检测视频划分为多个视频片段； 对每个所述视频片段中目标人脸的多帧RGB图像进行随机采样， 得到多个候选单帧视 频图像； 根据所述多个候选单帧视频图像确定所述至少一帧视频图像。 8.根据权利要求1所述的方法， 其特征在于， 所述基于时序排列的目标人脸的多帧第 一 光流图像， 包括： 将所述待检测视频划分为多个视频片段； 对每个所述视频片段中目标人脸的多帧灰度图像进行随机采样， 得到多帧候选灰度图 像； 基于每帧所述候选灰度图像及其 时序相邻的候选灰度图像， 确定每帧所述候选灰度图 像对应的第一 光流图像； 基于所述多帧候选灰度图像分别对应的第一 光流图像， 得到所述多帧第一 光流图像。 9.一种视频检测模型的训练方法， 其特 征在于， 包括： 获取样本视频集合和所述样本视频集合中每个样本视频对应的真伪标签， 所述样本视 频集合包括真实视频和多种伪造视频， 所述多种伪造视频与多种 人脸伪造算法一一对应， 每种伪造 视频是基于对应的人脸伪造算法对所述真实视频进行伪造处 理后得到的； 获取目标样本视频中样本人脸的至少一帧视频图像和基于时序排列的样本人脸的多 帧第二光流图像； 通过初始视频检测模型对所述目标样本视频中样本人脸的至少一帧视频图像进行特 征提取， 得到所述样本人脸的脸部情绪特 征； 通过所述初始视频检测模型对所述目标样本视频中样本人脸的多帧第二光流图像进 行特征提取， 得到所述样本人脸的脸部动作特 征； 至少基于所述目标样本视频中样本人脸的脸部情绪特征和脸部动作 特征， 确定所述目 标样本视频的检测结果； 基于所述样本视频集合中每个样本视频的检测结果和所述每个样本视频对应的真伪 标签， 对所述初始视频检测模型进行迭代训练， 得到 视频检测模型。 10.根据权利要求9所述的方法， 其特征在于， 所述至少基于所述目标样本视频中样本 人脸的脸部情绪特 征和脸部动作特 征， 确定所述目标样本 视频的检测结果， 包括： 基于所述目标样本视频中样本人脸的至少一帧视频图像， 确定所述目标样本视频中样 本人脸的瞳孔大小； 基于所述目标样本视频中样本人脸的脸部情绪特征及瞳孔大小， 确定所述目标样本视权　利　要　求　书 2/3 页 3 CN 114842399 A 3