(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210368014.3 (22)申请日 2022.04.08 (71)申请人 浙江理工大 学 地址 310018 浙江省杭州市江干经济开发 区2号大街9 28号 (72)发明人 周梓豪　田秋红　章立早　阮琼璐　 王捷　 (74)专利代理 机构 杭州求是专利事务所有限公 司 33200 专利代理师 林超 (51)Int.Cl. G06V 40/20(2022.01) G06N 3/08(2006.01) G06N 3/04(2006.01) G06K 9/62(2022.01)G06V 10/44(2022.01) G06V 10/764(2022.01) (54)发明名称 基于Xception网络改进的手势图像特征提 取方法 (57)摘要 本发明公开了一种基于Xception网络改进 的手势图像特征提取方法。 对手势采集获得原始 手势图像； 输入降采样卷积模块和常规卷积模块 中降低维度和提取浅层特征； 浅层特征张量输入 深层特征提取结构提取深层特征， 特征金字塔结 构融合深层特征提取结构中浅层和深层包含的 空间信息和语义信息， 融合后通过深度可分离卷 积模块进行解耦， 再通过压缩激励模块和局部最 大池化层； 最后经过深度可分离卷积模块、 分类 模块得分类结果。 本发明通过密集深度可分离卷 积模块提高手势识别的准确率并减少模型的计 算量， 特征金字塔结构有助于融合多尺度特征， 压缩激励模块能够强化重要特征， 抑制次要特 征， 有效提高手势的识别率。 权利要求书2页 说明书6页 附图4页 CN 114613016 A 2022.06.10 CN 114613016 A 1.一种基于Xcepti on网络改进的手势图像特 征提取方法， 其特 征在于： 包括如下步骤： 1)对手势进行图像采集获得原始图像， 对原始图像进行尺寸归一化和标准化处理获得 原始手势图像； 2)构建卷积神经网络， 包括浅层特征提取结构、 深层特征提取结构、 特征金字塔结构、 高阶特征提取结构和输出 结构； 浅层特征提取结构主要由降采样卷积模块和常规卷积模块组成； 深层特征提取结构包 括四个依次连接的密集深度可分离卷积模块和三个依次连接的压缩激励模块， 相 邻两个密 集深度可分离卷积模块之 间连接有一个压缩激励模块， 每个压缩激励 模块经局部最大池化 层后输出； 特征金字塔结构包括逐点卷积层和上采样层； 高阶特征提取结构包括依 次连接 的深度可分离卷积模块、 压缩激励模块和局部最大池化层； 输出结构包括依 次连接的深度 可分离卷积模块和分类模块； 3)将原始手势图像输入步骤2)的卷积神经网络进行 特征提取， 输出分类结果。 2.根据权利要求1所述的基于Xception网络改进 的手势图像特征提取方法， 其特征在 于： 所述步骤3)具体为： 3.1)浅层特征提取结构： 原始手势图像经过降采样卷积模块降低维度， 再经常规卷积 模块提取浅层特 征， 得到浅层特征张量； 3.2)深层特 征提取结构： 浅层特征张量依次通过四个密集深度 可分离卷积模块， 密集深度 可分离卷积模块对特 征张量中空间相关性和跨通道相关性完全解耦； 其中， 压缩激励模块对输入的特征进行重 标定后再 经局部最大池化层缩小尺寸； 3.3)特征金字塔结构： 第四个密集深度 可分离卷积模块的输出经上采样层扩大尺度得到第 一融合特征张量， 第二个压缩激励模块经局部最大池化层的输出经逐点卷积层改变通道数得到第二融合特 征张量， 两个融合特 征张量进行 逐像素叠加操作， 得到特 征金字塔结构的输出； 3.4)高阶特 征提取结构： 融合多尺度特征的张量依次经过深度 可分离卷积模块、 压缩激励模块和局部最大池化 层， 得到高阶多维特 征张量； 3.5)输出 结构： 高阶多维特 征张量经深度可分离卷积模块和分类模块得到手势图像的分类结果。 3.根据权利要求1所述的基于Xception网络改进 的手势图像特征提取方法， 其特征在 于： 所述的浅层特 征提取结构： 降采样卷积模块主要由进行降采样的步长为2 ×2的卷积层、 批量归一化层和RELU激活 层依次连接组成， 具体由以下公式设置表示： 常规卷积模块主要由步长为1 ×1的卷积层、 批量归一化层和RELU激活层依次连接组 成， 具体由以下公式设置表示： 其中， f1表示降采样卷积模块， f2表示常规卷积模块； z代表输入的图像， 代权　利　要　求　书 1/2 页 2 CN 114613016 A 2表卷积核尺 寸为i×i， 步长为n的卷积函数， BN(*)代表批量归一化函数， δ(*)代表RELU激活 函数。 4.根据权利要求1所述的基于Xception网络改进 的手势图像特征提取方法， 其特征在 于： 所述的密集深度 可分离卷积模块主要由多个深度 可分离卷积模块密集连接组成， 密集 连接表示每个深度可分离卷积模块的输入为密集深度可分离卷积模块的输入和所有前继 深度可分离卷积模块的输出张量经通道叠加形成； 前继深度可分离卷积模块为当前深度可 分离卷积模块之前的所有深度可分离卷积模块； 具体公式设置如下： 其中， X0表示密集深度可分离卷积模块 的输入， XL表示第L个深度可分离卷积模块的输 出， 表示通道维度上的叠加， f3(*)表示深度可分离卷积模块。 5.根据权利要求4所述的基于Xception网络改进 的手势图像特征提取方法， 其特征在 于： 四个依 次连接的密集深度可分离卷积模块中： 前三个密集深度可分离卷积模块由三个 深度可分离卷积模块密集连接组成， 第四个密集深度可分离卷积模块由两个深度可分离卷 积模块密集连接组成。 6.根据权利要求4所述的基于Xception网络改进 的手势图像特征提取方法， 其特征在 于： 密集深度可分离卷积模块 的深度可分离卷积模块f3主要由RELU激活层、 深度可分离卷 积层和批量归一 化层依次连接组成， 具体由以下公式设置表示： 其中， z代表输入的图像， δ(*)代表RELU激活函数， 代表卷积核 尺寸为i×i， 步长为 n的深度可分离卷积函数， BN(*)代 表批量归一 化函数； 高阶特征提取结构中的深度 可分离卷积模块主要由深度可分离卷积层、 RELU激活层和 批量归一 化层依次连接组成。 7.根据权利要求1所述的基于Xception网络改进 的手势图像特征提取方法， 其特征在 于， 所述的压缩激励模块包括压缩模块fsq、 激励模块fex和重标定模块fscale， 主要由全局平 均池化层、 全连接层、 RELU激活层、 全连接层、 Sigmoid激活层依次连接组成； 具体由以下公 式设置表示： fsq(z)＝GAP(z) fex(x)＝σ(W( δ(W(x) ))) fscale(q， d)＝q ×d 其中， z代表输入的图像， GAP(*)代表全局平均池化函数， x代表压缩模块获得的全局描 述， W(*)全连接函数， δ(*)代表RELU激活函数， σ(*)代表Sigmoid激活函数， q代表输入压缩 激励模块的特 征张量， d代 表激励模块获得的各个通道的权 重； 重标定模块fscale的输出再经局部最大池化层输出。 8.根据权利要求1所述的基于Xception网络改进 的手势图像特征提取方法， 其特征在 于， 所述特 征金字塔结构中： 上采样层采用最近邻插值 算法。 9.根据权利要求1所述的基于Xce ption网络改进的手势图像特征提取方法， 其特征在于， 所述输出结构中的分类模块包括依次连接的全局平均池化层、 全连接层和softmax分类器。权　利　要　求　书 2/2 页 3 CN 114613016 A 3