(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211125809.8 (22)申请日 2022.09.16 (71)申请人 山东百盟信息技 术有限公司 地址 264200 山东省威海市环翠区海 滨北 路-106A号威海国际商务大厦1 112号 (72)发明人 付强　赵洪伟　 (51)Int.Cl. G06V 20/40(2022.01) G06V 10/26(2022.01) G06V 10/56(2022.01) G06V 10/74(2022.01) G06V 10/762(2022.01) G06V 10/764(2022.01) G06V 10/82(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 一种基于分辨率自适应网络的视频分类方 法 (57)摘要 本发明提供了一种基于分辨率自适应网络 的视频分类方法， 包括： 基于视频帧颜色直方图 的K值探测、 基于K ‑means聚类的关键帧获取、 基 于视频帧直方图序列的关键帧序列时序语义恢 复、 基于分辨率自适应网络的视频关键帧特征提 取、 基于GRU分类器的视频序列分类。 本发明通过 基于直方图差异动态选 取K值， 通过K ‑means聚类 获取关键帧集合， 在兼顾效率的同时避免不同镜 头间相似关键帧的重复选取。 本发 明利用视频帧 直方图序列恢复视频关键帧序列的时序语义， 解 决K‑means聚类后关键帧时序语义损失的问题。 权利要求书4页 说明书9页 附图3页 CN 115205768 A 2022.10.18 CN 115205768 A 1.一种基于分辨 率自适应网络的视频分类方法， 其特 征在于， 包括： S1、 基于视频帧颜色直方图的K值探测， 动态获取聚类K值； S2、 基于K ‑means聚类的关键帧提取， 利用S1动态获取的K值对视频序列进行K ‑means聚 类， 获取关键帧集 合； S3、 基于视频帧直方图序列， 恢复S2得到的关键帧集 合的时序语义； S4、 基于分辨率自适应网络的视频关键帧特征提取， 利用分辨率自适应网络提取S3恢 复时序语义的关键帧序列的特 征表示； S5、 基于GRU的关键帧序列分类， 将S4提取得到的视频关键帧特征序列输入GRU网络得 到视频关键帧序列的特 征向量， 利用得到的特 征向量集合输入线性分类 器得到分类结果。 2.根据权利要求1所述的一种基于分辨率自适应网络的视频分类方法， 其特征在于， 所 述S1包括： S11、 对目标视频 数据进行 预处理， 将其以帧单位进行分割， 得到 视频帧序列； S12、 基于S1 1中得到的视频帧序列， 提取视频帧的颜色直方图特 征； S13、 基于S12中得到的视频帧颜色直方图特征， 计算相邻帧之间的帧差值及其平均值， 并确定聚类K值。 3.根据权利要求2所述的一种基于分辨率自适应网络的视频分类方法， 其特征在于， 所 述S12中提取视频帧颜色直方图特 征包括： 将帧图像从RGB空间映射到HSV空间上， 使用色调H （Hue， 0≤H≤360）、 饱和度S （Saturation， 0≤S≤1） 以及亮度V （Value， 0≤V≤1） 表示， 然后提取视频帧i的颜色直方图 特征Hi。 4.根据权利要求3所述的一种基于分辨率自适应网络的视频分类方法， 其特征在于， 所 述S13包括： 根据S12计算得到的每个视频帧图像的颜色直方图， 计算帧与帧之间的帧间差值Di， 计 算方式为： 其中S(fi, fi+1)为第i帧与第i+1帧之间的相似度， 该相似度表示 为： 其中mh表示HSV空间中H分量在帧间相似度中的权重， Sh(fi,fi+1)为第i帧与第i+1帧之 间在H分量上的相似度， 其中mh、 ms与mv的取值根据视频帧图像HSV分量的平均特征比值来决 定， 由于人类对H分量的敏感度要高于S与V分量， 所以H分量的默认权重可以略微高于S与V 分量的权 重， 第i帧与第i+1帧之间在H分量上的相似度为： 权　利　要　求　书 1/4 页 2 CN 115205768 A 2其中， 函数H()为图像帧的颜色直方图， k表示图像灰度或色彩级别， S与 V分量的帧间相 似度同理， 计算平均帧间差值Davg， 表示方式为： 对于帧间差值Di(0<i<n)， 如果Di≥Davg， 则聚类K值+1。 5.根据权利要求4所述的一种基于分辨率自适应网络的视频分类方法， 其特征在于， 所 述S2关键帧提取算法包括： S21、 根据S12得到的视频帧颜色直方图特征集合F={f1,f2,f3...,fn}以及S13获取的聚 类质心K值， 进行集 合的划分； S22、 根据颜色直方图特征集合F划分聚类集合个数， 划分过程可以根据K ‑means模型的 最小值C表示， 计算公式如下： 其中， C={c1,c2,c3,...,ck}为聚类的聚簇结果， μi为簇的质心； S23、 将视频 帧中第一帧对应的颜色直方图特征f1归入第一个簇中， 并将其颜色直方图 的特征值作为该簇的初始质心； S24、 计算视频帧到质心的距离， 如果当前视频帧与质心的距离大于给定的初始阈值t， 那么就将该帧归入到新的簇中； 反之， 则将当前帧归入到距离它最近的簇中， 并重新计算更 新该簇的质心； S25、 重复S24的过程， 直至最后一视频帧颜色直方图特征归入某个聚簇或者其作为新 的簇质心； S26、 选取每 个簇中距离质心最近的视频帧作为关键帧。 6.根据权利要求5所述的一种基于分辨率自适应网络的视频分类方法， 其特征在于， 所 述S3关键帧时序语义恢复算法包括： S31、 初始化cluster_left_boundary、 cluster_right_boundary以及 frame_idx为0， cur_seq为1； S32、 使frame_idx递增， 若Dframe_idx≥Davg， 使cluster_right_boundary等于frame_idx， 遍历视频帧序列中下标从cluster _left_bou ndary到cluster _right_boundary之间的帧集 合FT； S33、 若存在关键帧kfi等于FT中的任意帧， 则kfi在关键帧序列中序号为cur_seq， 将 cluster_le ft_boundary置为cluster_ri ght_boundary， cur_seq加1， 重复S32直至遍历完 视频帧序列中最后一帧或已得到 完整语义的关键帧序列； S34、 最终得到的关键帧序列为恢复时序语义的关键帧序列。 7.根据权利要求6所述的一种基于分辨率自适应网络的视频分类方法， 其特征在于， 所 述S4包括： S41 、 利用RANet的初始层来生成视频关键帧的S尺度中的H基本特征， 尺度 最大的分辨权　利　要　求　书 2/4 页 3 CN 115205768 A 3