(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210187939.8 (22)申请日 2022.02.28 (71)申请人 北京伊园未来科技有限公司 地址 100083 北京市海淀区成府路45号中 关村智造大街G座 三层J482 (72)发明人 姜公略　 (74)专利代理 机构 北京绘聚高科知识产权代理 事务所(普通 合伙) 11832 专利代理师 罗硕 (51)Int.Cl. G06V 40/10(2022.01) G06V 10/44(2022.01) G06V 10/774(2022.01) G06V 10/82(2022.01) G06K 9/62(2022.01)G06N 3/04(2006.01) G06N 3/08(2006.01) G06F 3/01(2006.01) (54)发明名称 一种带视觉和力反馈的增强现实交互方法 及系统 (57)摘要 本发明公开了一种带视觉和力反馈的增强 现实交互方法及系统。 获得手势图像。 基于手势 图像， 通过手势模型， 得到多个实际手势关键点 位置。 基于手势图像， 通过阴影模型， 得到 阴影手 区域。 基于实际手势关键点位置和阴影手区域， 得到指尖触碰值。 若指 尖触碰值为1， 基于手势图 像， 通过触碰模型， 得到指尖位置。 基于指尖位 置， 得到手势信息。 使用对手指的阴影进行判别， 从而确定手指指尖是否与触摸板接触。 而且使用 凸包结构获取指尖区域， 同时再对指尖区域的手 指进行识别， 不但还通过指 尖与手指共同识别并 且互相影 响训练的方式， 增强了指 尖识别的准确 性。 准确的识别了在AR状态下识别手指点击虚拟 键盘的位置， 从而准确得到用户输入信息， 从而 进行响应 。 权利要求书3页 说明书9页 附图3页 CN 114596582 A 2022.06.07 CN 114596582 A 1.一种带视 觉和力反馈的增强现实交 互方法， 其特 征在于， 包括： 获得手势图像； 所述手势图像表示在虚拟面板上输入文字时的手势图像； 基于手势图像， 通过手势模型， 得到多个实际手势关键点位置； 所述实际手势关键点位 置表示手指轮廓的部分位置； 基于手势图像， 通过阴影模型， 得到阴影手区域； 所述阴影手区域表示单光照射下手部 阴影的轮廓位置； 基于实际手势关键点位置和阴影手区域， 得到指尖触碰值； 所述指尖触碰值为1表示手 指与触碰器 触碰； 所述指尖触碰值 为0表示手指未与触碰器 触碰； 若指尖触碰值 为1， 基于手势图像， 通过触碰模型， 得到指尖位置； 基于指尖位置， 得到手势信息； 所述手势信息表示手势位置的触摸板所在的信息 。 2.根据权利要求1所述的一种带视觉和力反馈的增强现实交互方法， 其特征在于， 所述 基于手势图像， 通过手势模型， 得到多个实际手势关键点位置； 所述 实际手势关键点位置表 示手指轮廓的部分位置， 包括： 所述手势模型包括手势卷积网络和手势全连接层： 所述手势卷积网络的输入为所述手势图像； 所述手势全连接层的输入为所述手势卷积 网络的输出； 基于手势图像， 通过手势卷积网络， 进行 特征提取， 得到手势特 征图； 基于手势特征图， 通过手势全连接层， 得到手势特征向量； 所述手势特征向量表示手势 类别元素和多个关节点位置元素； 所述手势类别元素为1表示是手， 所述手势类别元素为0 表示不是手； 基于手势特 征向量， 得到多个实际手势关键点 位置。 3.根据权利要求1所述的一种带视觉和力反馈的增强现实交互方法， 其特征在于， 所述 基于手势图像， 通过阴影模型， 得到阴影手区域； 所述阴影手区域表示单光照射下手部阴影 的轮廓位置， 包括： 将手势图像进行色彩空间变换， 得到第一变换色彩空间手势图像； 基于第一变换色彩空间手势图像， 进行 灰度化， 得到灰度手势图像； 获得色彩阈值； 所述色彩阈值表示能划分阴影区域的值； 通过多次比较灰度手势图像和色彩阈值的大小， 将灰度手势图像中灰度值大于色彩阈 值的标注为阴影区域， 将灰度手势图像中灰度值小于色彩阈值的标注为非阴影区域， 得到 阴影手区域。 4.根据权利要求1所述的一种带视觉和力反馈的增强现实交互方法， 其特征在于， 所述 基于实际手势关键点位置和阴影手区域， 得到指尖触碰值； 所述指尖触碰值为 1表示手指与 触碰器触碰； 所述指尖触碰值 为0表示手指未与触碰器 触碰， 包括： 基于实际手势关键点 位置， 得到实际指尖位置； 基于实际手势关键点 位置， 得到手指中心线； 基于阴影 手区域， 得到阴影区域中心线； 基于手指中心线、 阴影区域中心线、 阴影手区域和实际指尖位置， 得到指尖触碰值； 所 述指尖触碰值表示手指与触摸板的接触程度。 5.根据权利要求4所述的一种带视觉和力反馈的增强现实交互方法， 其特征在于， 所述权　利　要　求　书 1/3 页 2 CN 114596582 A 2基于手指 中心线、 阴影区域中心线、 阴影手区域和实际指尖位置， 得到指尖触碰值； 所述指 尖触碰值表示手指与触摸板的接触程度， 包括： 基于阴影手区域， 得到阴影指尖最高点； 所述阴影指尖最高点表示阴影指尖最突出的 位置； 基于手指中心线和阴影区域中心线， 得到中心线偏差值； 若中心线偏差值小于相差阈值， 且， 阴影之间最高点在实际指尖位置所在区域， 指尖触 碰值为1； 否则， 指尖触碰值 为0。 6.根据权利要求1所述的一种带视觉和力反馈的增强现实交互方法， 其特征在于， 所述 触碰模型包括第一卷积网络、 第二卷积网络、 轮廓结构、 凸包结构： 第一卷积网络的输入为手势图像； 轮廓结构的输入为手势图像和第一卷积网络的输 出； 凸包结构的输入为所述轮廓结构的输出； 第二卷积网络的输入为第一卷积网络的输出 和凸包结构的输出。 7.根据权利要求1所述的一种带视觉和力反馈的增强现实交互方法， 其特征在于， 触碰 模型的训练方法： 获得手势训练集； 所述手势训练集包括多个训练图像和对应的标注数据； 所述训练图 像表示与触摸板接触的图像； 所述标注数据包括手指标注数据和指尖标注数据； 所述手指 标注数据表示手指在图像中的位置； 所述指尖标注数据表示指尖在图像中的位置； 将手势训练集中的训练图像输入第一卷积网络， 对手进行 特征提取， 得到手特 征图； 基于所述手特 征图， 得到手势区域； 所述手势区域表示手指所在位置； 基于所述手势区域和标注手势区域， 得到手损失值； 基于所述手势区域和手势训练集中的训练图， 通过轮廓结构， 通过凸包结构， 得到指尖 区域； 将所述手特征图输入第二卷积网络， 基于指尖区域， 对指尖进行特征提取， 得到指尖特 征图； 基于所述指尖特征图， 得到指尖特征值； 所述指尖特征值包括指尖中心点、 指尖边框和 指尖类别； 所述指尖边框包括指尖边框的高和指尖边框的宽； 基于指尖特 征值和标注指尖特 征值， 得到指尖损失值； 获得总损失值； 所述总损失值 为所述手损失值和所述指尖损失值相加之和； 获得触碰模型当前的训练迭代次数以及预先设定的所述触碰模型训练的最大迭代次 数； 当触碰模型小于或等于阈值或训练迭代次数达到所述最大迭代次数时停止训练， 得到 训练好的触碰模型。 8.根据权利要求7所述的一种带视觉和力反馈的增强现实交互方法， 其特征在于， 所述 基于所述手势区域和手势训练集中的训练图， 通过轮廓结构， 通过凸包结构， 得到指尖区 域， 包括： 基于手势轮廓， 得到手势边界； 所述手势边界表示连接指尖的直线构成的边界； 基于手势边界， 通过凸度切线函数提取指尖， 得到指尖位置； 获得指尖区域； 所述指尖区域以指尖位置为中心， 向外扩充的矩形边框 。 9.一种带视 觉和力反馈的增强现实交 互系统， 其特 征在于， 包括：权　利　要　求　书 2/3 页 3 CN 114596582 A 3