(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210208423.7 (22)申请日 2022.03.03 (71)申请人 陈慧 地址 213000 江苏省常州市新北区玲珑花 园11幢1601室 (72)发明人 陈慧　 (74)专利代理 机构 北京广溢知识产权代理有限 公司 16001 专利代理师 姜宇 (51)Int.Cl. G06V 40/10(2022.01) G06V 10/56(2022.01) G06V 10/44(2022.01) (54)发明名称 一种基于深度传感技 术的手势 识别系统 (57)摘要 本发明公开了一种基于深度传感技术的手 势识别系统， 包括手势数据模块、 识别方法模块 和触发调用模块， 所述手势数据模块用于采集记 录手势图像点和肤色， 所述识别方法模块用于对 归一化后的图像进行肤色融合和分割， 所述触发 调用模块用于将输出手势进行查找对比并判断 是否有对应的调用函数， 所述手势数据模块与识 别方法模块电连接， 所述识别方法模块与触发调 用模块电连接， 利用手势肤色在颜色 空间中的聚 类特征， 融合颜色空间中对肤色聚类较好的色调 和色度分量， 结合最大类间方差的自适应是取方 法， 对手势部分进行最优分割处理， 使其能较准 确地分割和识别复杂环境下的手势图像， 本发 明， 具有肤色特 征聚类和最优分割的特点。 权利要求书3页 说明书7页 附图1页 CN 114581947 A 2022.06.03 CN 114581947 A 1.一种基于深度传感技术的手势识别系统， 包括手势数据模块、 识别方法模块和触发 调用模块， 其特征在于： 所述手势数据模块用于采集记录手势图像点和肤色， 所述识别方法 模块用于对归一化后的图像进 行肤色融合和分割， 所述触发调用模块用于将输出手势进 行 查找对比并判断是否有对应的调用函数， 所述触发调用模块包括查找对比模块和判断调用 模块， 所述查找对比模块用于将输出 的手势在手势特征库中进行查找对比， 所述判断调用 模块用于对对比结果进行判断是否有 可调用触发的手势动作函数， 所述手势数据模块与识 别方法模块电连接， 所述识别方法模块与触发调用模块电连接， 所述查找对比模块以判断 调用模块电连接 。 2.根据权利要求1所述的一种基于深度传感技术的手势识别系统， 其特征在于： 所述手 势数据模块包括手势图像点模块和肤色模块， 所述手势图像点模块用于在手势图像区域内 采集用户的手势动作图像点， 所述肤色模块用于在手势图像区域内划分提取出肤色对应的 范围区域， 所述肤色模块包括手势肤色子模块和背景肤色子模块， 所述手势肤色子模块用 于在整体的肤色范围区域内提取出手势的肤色部分， 所述背 景肤色子模块用于在整体的肤 色范围区域内提取出背景 的肤色部分， 所述手势图像点模块与肤色模块电连接， 所述手势 肤色子模块与背景肤色子模块电连接 。 3.根据权利要求2所述的一种基于深度传感技术的手势识别系统， 其特征在于： 所述识 别方法模块包括图像点归一化模块、 肤色融合聚类模块、 最优分割阈值模块和手势识别输 出模块， 所述图像点归一化模块用于对肤色图像进行归一化处理， 所述肤色融合聚类模块 用于对归一化后的手势图像利用肤色融合聚类的方法提取手势部分， 所述最优分割阈值模 块用于对提取出的手势进 行最优计算分割， 所述手势识别输出模块用于将识别分割后的手 势图像输出， 所述图像点归一化模块与肤色融合聚类模块电连接， 所述肤色融合聚类模块 与最优分割阈值模块、 手势 识别输出模块电连接 。 4.根据权利要求3所述的一种基于深度传感技术的手势识别系统， 其特征在于： 所述肤 色融合聚类模块包括颜色分量计算子模块、 像素点遍历子模块和融合肤色子模块， 所述颜 色分量计算子模块用于利用颜色色调和色度对其色道所占分量进 行计算， 所述像素点遍历 子模块用于利用计算出的分量信息遍历 手势图像中所有像素点， 所述融合肤色子模块用于 根据手势肤色在颜色空间中的聚类特征融合对肤色聚类较好的分量， 所述颜色分量计算子 模块与像素点遍历子模块、 融合 肤色子模块电连接 。 5.根据权利要求4所述的一种基于深度传感技术的手势识别系统， 其特征在于： 所述手 势识别系统的具体运行 方法为： 步骤S1： 用户在使用设备中开启手势识别功能， 在开启时间段内， 手势摄像追踪定位用 户手势图像区域； 步骤S2： 采集划分手势图像区域内用户的手势动作图像点， 提取手势图像区域中的肤 色范围区域； 步骤S3： 对肤色范围区域内的图像进行归一化处理， 利用颜色分量信息遍历手势图像 中所有像素点， 融合 肤色检测方法提取手势； 步骤S4： 计算手势图像最优分割阈值， 结合最大类间方差法对手势部分进行分割处理， 所述最大类间方差法是一种自适合于双峰情况的自动求取阈值的方法,按图像的灰度特性 将图像分成背景和目标两 部分的方法；权　利　要　求　书 1/3 页 2 CN 114581947 A 2步骤S5： 将输出的手势图像与手势图像特征库进行对比查找， 确定是否有可触发的手 势控制目标。 6.根据权利要求5所述的一种基于深度传感技术的手势识别系统， 其特征在于： 所述步 骤S2进一 步包括以下步骤： 步骤S21： 手势摄像追踪定位到用户手势图像区域， 在区域内将图像按像素帧拆分采 集， 并将拆分后每一个单独 像素帧中的手势动作， 转换处 理为像素图像点； 步骤S22： 以手势动作的肤色为界定点， 在图像区域内划分出整体的肤色范围区域 块。 7.根据权利要求6所述的一种基于深度传感技术的手势识别系统， 其特征在于： 所述步 骤S3进一 步包括以下步骤： 步骤S31： 将肤色范围区域块内的手势图像点， 以设定标准进行多层次处理变换， 得到 多种手势副本图像， 利用相同参数进行图像归一 化处理； 步骤S32： 对归一化后的图像提取RGB手势图像， 统计多个分量信息， 所述RGB图像为具 有颜色的色彩图像， 通过对红(R)、 绿(G)、 蓝(B)三个颜色通道的变化以及它们相互之间的 叠加来得到各式各样的颜色构成； 步骤S33： 在统计的多个分量信息中选取肤色聚类较好的三个分量信息， 根据三个分量 信息遍历图像所有像素点， 判断其与肤色范围。 8.根据权利要求7所述的一种基于深度传感技术的手势识别系统， 其特征在于： 所述步 骤S33进一步包括以下步骤： 步骤S331： 三个分量信息分别为色调， 蓝色色度和红色色度， 获取RGB颜色空间中红 (R)、 绿(G)、 蓝(B)三个颜色通道的最 值， 最大值和最小值的表达式为： 式中， V为三个颜色通道中的色调分量 最大值， Q 为三个颜色通道中的色调分量 最小值； 步骤S332： 根据最 值计算色调分量H， 其计算公式为： 式中， 为三个颜 色中任一颜色与其他颜 色的互补光角度， 具体为固定值， 为RGB颜色 空间中的度量角度， 随着V值的改变而改变， V为三个颜色通道中的色调分量最大值， Q为三 个颜色通道中的色调分量最小值， G为三个颜色通道中的绿色通道数值， B为三个颜色通道 中的蓝色通道数值； 步骤S333： 利用颜色空间中的分量计算公式计算获取蓝色色度和红色色度数值， 结合 计算出的色调分量 值遍历RGB手势图像中所有像素点， 得到整体肤色范围。 9.根据权利要求8所述的一种基于深度传感技术的手势识别系统， 其特征在于： 所述步 骤S4进一 步包括以下步骤： 步骤S41： 在得到的整体肤色范围内， 利用最大类间方差法获取前景目标手势图像像素 点在整体肤色范围中的所占比例， 以及手势图像后的背景图像 像素点的所占比例； 步骤S42： 计算前 景肤色手势目标与肤色背景的最优分割阈值T， 计算公式为： T＝a0a1*(x0‑x1)2权　利　要　求　书 2/3 页 3 CN 114581947 A 3