(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211051866.6 (22)申请日 2022.08.31 (71)申请人 江南大学 地址 214122 江苏省无锡市滨湖区蠡湖大 道1800号 (72)发明人 吴静静　汪志强　李天贺　 (74)专利代理 机构 哈尔滨市阳光惠远知识产权 代理有限公司 2321 1 专利代理师 吕永芳 (51)Int.Cl. G06V 40/20(2022.01) G06V 20/40(2022.01) G06V 10/74(2022.01) G06V 10/764(2022.01) G06V 10/82(2022.01)G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 基于通道拓扑变换CNN的行为识别系统及方 法 (57)摘要 本发明公开了基于通道拓扑变换CNN的行为 识别系统及方法， 属于视频分析技术领域。 所述 方法基于关节距离和肢体角度， 放大相似姿态之 间的特征差异， 并堆叠连续多帧特征数据， 构建 了具有时序特征的特征描述子， 从而将肢体动作 的速度特征蕴含在时序特征中， 可以很好的区别 姿态相似的不同行为； 通过对特征样本在时序通 道方向上连续扩张与压缩的拓扑变换， 提出了一 种具有速度特征提取能力的通道拓扑变换卷积 神经网络， 实现了对行为模式相似 行为基于速度 特征的进一步有效区分， 本发明提高了相似行为 的识别能力， 有效地 提升行为识别的精确度。 权利要求书2页 说明书7页 附图4页 CN 115424343 A 2022.12.02 CN 115424343 A 1.一种行为识别方法， 其特 征在于， 所述方法包括： 步骤一： 对视频帧画面中的人员目标进行姿态估计， 提取关节坐标信息； 步骤二： 基于所述关节坐标信息构建与运动行为相关的关节间的距离与角度信息； 步骤三： 基于所述关节间的距离与角度信息构建一帧图像中的特 征向量矩阵； 步骤四： 堆叠连续 N帧图像的特 征向量矩阵， 构建时序特 征描述子； 步骤五： 利用通道拓扑变换卷积神经网络模型对所述 时序特征描述子进行特征提取和 分类， 得到识别结果。 2.根据权利要求1所述的行为识别方法， 其特征在于， 所述通道拓扑变换卷积神经网络 中， 在输入特征图前向传播过程中， 调节每个卷积层的卷积核 数量， 在通道方向上进 行通道 数量的扩张和压缩， 使卷积层对输入特征图像在通道方向上 的特征敏感， 所述通道方向对 应所述时序特 征描述子的时序方向。 3.根据权利要求1所述的行为识别方法， 其特征在于， 所述通道拓扑变换卷积神经网络 采用跳层结构， 所述跳层结构为： 每个卷积层的输出为： 上一层的输出和上一层的输出经过该卷积层卷积激活之后在通 道方向上合并的结果。 4.根据权利要求1所述的行为识别方法， 其特征在于， 所述通道拓扑变换卷积神经网络 中还包括： 通道 注意力机制。 5.根据权利 要求1所述的行为识别方法， 其特征在于， 所述步骤一采用OpenPose模型对 视频帧画面中的人员目标进行姿态估计， 提取骨架信息 。 6.根据权利要求1所述的行为识别方法， 其特征在于， 所述步骤二中采用欧式距离描述 关节间的距离： D(xi,xj)＝‖xi‑xj‖2 其中， D(xi,xj)为两点之间的欧式距离， xi， xj分别为关键点 i， j的坐标向量。 7.根据权利要求1所述的行为识别方法， 其特征在于， 所述步骤二中采用夹角余弦值来 衡量关节间的角度信息： 式中， a、 b、 c分别为 三角形∠A、 ∠B、 ∠C对应的边， A为∠A对应的夹角余弦值。 8.根据权利要求1所述的行为识别方法， 其特征在于， 所述步骤四的特征向量矩阵表达 为： 式中， Di为表示第i组距离信息， Ai为第i组角 度信息， Si为第i个关键点的置信度信息P 表示特征图的尺寸， 所述 步骤四中的时序特 征描述子的尺寸 为： N×P×3。 9.根据权利要求3所述的行为识别方法， 其特征在于， 所述通道拓扑变换卷积神经网络 的卷积层 传播形式满足：权　利　要　求　书 1/2 页 2 CN 115424343 A 2式中， xL为迭代传播的输出结果， xl为起始层的输入特征值， Wi为网络层中的参数与偏 置， F函数为每一次前向传播主体支路的变换函数。 10.一种行为识别系统， 其特征在于， 所述行为识别系统用于实现权利要求1 ‑9任一项 所述行为识别方法， 所述行为识别系统包括： 视频获取模块、 时序特征描述子构建模块、 通 道拓扑变换 卷积神经网络、 分类输出模块； 所述视频获取模块用于获取待识别的行为视频， 所述 时序特征描述子构建模块用于构 建视频中行为的时序特征描述子， 所述通道拓扑变换卷积神经网络对所述时序特征描述子 进行特征提取， 所述分类输出模块根据特征提取的结果对行为进 行识别分类并输出分类结 果。权　利　要　求　书 2/2 页 3 CN 115424343 A 3