(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211036596.1 (22)申请日 2022.08.25 (71)申请人 首都医科 大学宣武医院 地址 100053 北京市西城区长 椿街45号 (72)发明人 赵迎　俞洁　关欣　张晓蕾　王军　 (74)专利代理 机构 北京之于行知识产权代理有 限公司 1 1767 专利代理师 吕晓蓉 (51)Int.Cl. G06F 3/01(2006.01) G06T 19/00(2011.01) G06T 17/00(2006.01) G06V 40/20(2022.01) G06Q 50/20(2012.01) G06Q 10/06(2012.01)A61B 5/256(2021.01) A61B 5/291(2021.01) A61B 90/00(2016.01) (54)发明名称 一种基于虚拟现实的质控反馈系统及方法 (57)摘要 本发明涉及一种基于虚拟现实的质控反馈 系统及方法， 其针对现有医用技能的训练系统类 别单一， 测试者无法在完成训练后应对不具有相 似性的护理场景的技术问题， 系统包括虚拟成像 模块和拟形操作模块， 两者通过交互模块完成在 虚拟环境中的场景融合， 使 得拟形操作模块在测 试者的控制下发生的工作位置的变动能够在虚 拟场景中转化为虚拟医疗用具对三维人体模型 进行处理操作； 穿戴模块能够将交互模块生成的 融合场景进行展示， 使 得测试者能够获得沉浸式 的仿真体验， 并且穿戴模块以影像采集的方式获 取并分析测试者在进行训练或测试时的手部姿 态， 从而通过与预先存储的标准数据进行比对的 方式来获取动作估值， 进而根据运动估值生成测 试者的测评报告。 权利要求书2页 说明书7页 附图2页 CN 115328317 A 2022.11.11 CN 115328317 A 1.一种基于虚拟现实的质控反馈系统， 其包括佩戴在测试者眼部的穿戴模块(4)， 其特 征在于， 在所述穿戴模块(4)上设置有 能够对测试者的脑电信号进行采集的电极模块(5)， 在测试者利用所述穿戴模块(4)在虚拟场景中进行指定的训练或测试时， 所述电极模块(5) 通过监测测试者的脑电信号的变化的方式来对测试者的实时生理参数进 行监控， 从而将测 试者的操作情况与其在该时刻的脑电信号的变化情况相关联， 进而分析测试者进 行指定的 训练或测试时所存在的不足和缺陷； 所述穿戴模块(4)能够将交互模块(3)生成的融合场景进行展示， 使得测试者能够获得 沉浸式的仿真体验， 并且所述穿戴模块(4)以影像采集的方式获取并分析测试者在进行训 练或测试时的手部姿态， 从而通过与预先存储的标准数据进行比对的方式来获取动作估 值， 进而根据运动估值 生成测试者的测评报告。 2.如权利要求1所述的基于虚拟现实的质控反馈系统， 其特征在于， 所述质控反馈系统 还包括生成具有仿真态的三 维人体模型的虚拟场景的虚拟成像模块(1)和替代多种医疗用 具而被测试者握持的拟形操作模块(2)， 所述虚拟成像模块(1)与所述拟形操作模块(2)通 过所述交互模块(3)完成在虚拟环境中的场景融合， 使 得所述拟形操作模块(2)在测试者的 控制下发生的工作位置的变动能够在虚拟场景中转化为虚拟医疗用具对三维人体模型进 行处理操作。 3.如权利要求2所述的基于虚拟现实的质控反馈系统， 其特征在于， 所述虚拟成像模块 (1)根据教学指令或测试指令生成用于进行指定的训练或测试的三维人体模型， 从而测试 者通过控制在虚拟场景中形成虚拟医疗用具的所述拟形操作模块(2)来对三 维人体模型进 行处理操作， 其中， 所述交互模块(3)能够将测试者的动作与虚拟场景进行交互融合， 并且使得虚拟场景 中的三维人体模型能够根据虚拟医疗用具的运动产生视 觉反馈和触觉反馈 。 4.如权利要求3所述的基于虚拟现实的质控反馈系统， 其特征在于， 所述交互模块(3) 还能够将用于产生触觉反馈的辅助硬件与 虚拟场景中的三维人体模型相融合， 使得所述拟 形操作模块(2)所代表的虚拟医疗用具对三 维人体模型的处理操作能够在触觉上获得真实 反馈， 其中， 在所述拟形操作模块(2)的拟形单元(21)上设置有能够监测其空间位置、 角度以及受 力情况的变化的监测单元(22)， 所述监测单元(22)能够将其采集的数据传输至所述交互模 块(3)， 从而使 所述交互模块(3)能够利用接收的数据来改变虚拟医疗用具在虚拟场景中的 状态， 并且依据虚拟医疗用具发生的变化 来调整三维人体模型的形态。 5.如权利要求4所述的基于虚拟现实的质控反馈系统， 其特征在于， 在所述穿戴模块 (4)和测试者的侧前 方位置均设置有影 像采集模块(6)， 其中， 设置在所述穿戴模块(4)上的第一影像采集模块(61)和设置在测试者的侧前方的第二 影像采集模块(62)对测试者在一定时间段内的手部动作进 行影像采集和分析， 并且对测试 者每一时刻的动作进行比对， 从而获取该动作的动作估值， 从而利用动作估值来评定测试 者该动作的规范性。 6.如权利要求5所述的基于虚拟现实的质控反馈系统， 其特征在于， 所述影像采集模块 (6)采集的影像能够在采集时间上进行逐帧分解， 从而利用将每一帧的动作图像与根据专 家意见建立的标准数据进行比对的方式获取动作估值， 并且权　利　要　求　书 1/2 页 2 CN 115328317 A 2所述影像采集模块(6)采集到的测试者的手部带动所述拟形单元(21)在一定空间中发 生的相对于辅助硬件的位置的变动还能够对所述监测单元(22)采集到的所述拟形单元 (21)的空间位置、 角度的变化进 行验证， 从而使所述交互模块(3)将所述拟形单元(21)的变 化融合至虚拟场景中， 并且准确地调整三维人体模型的形态。 7.如权利要求6所述的基于虚拟现实的质控反馈系统， 其特征在于， 所述第 一影像采集 模块(61)和第二影像采集模块(62)能够从异面的两个角度采集测试者进行指定的训练或 测试的过程中其手部的姿势变化， 并且通过将手部的关节点定义为直线的方式简化手臂、 手掌和手指的运动， 从而利用多条 连线的夹角的变动来分析手部姿态的规范性。 8.如权利要求7所述的基于虚拟现实的质控反馈系统， 其特征在于， 所述电极模块(5) 包括被所述穿戴模块(4)限制于耳后位置的参考电极(51)和能够定位于测试者的前额区域 的脑电采集电极(52)。 9.一种基于虚拟现实的质控反馈方法， 其特 征在于， 包括： 生成具有仿真态的三维人体模型的虚拟场景的虚拟 成像模块(1)和替代多种医疗用具 而被测试者握持的拟形操作模块(2)， 其中， 所述虚拟 成像模块(1)与所述拟形操作模块(2)通过所述交互模块(3)完成在虚拟环境 中的场景融合， 使得所述拟形操作模块(2)在测试者的控制下发生的工作位置的变动能够 在虚拟场景中转 化为虚拟医疗用具对三维人体模型进行处 理操作； 所述虚拟 成像模块(1)根据教学指令或测试指令生成用于进行指定的训练或测试的三 维人体模型， 从而测试者通过控制在虚拟场景中形成虚拟医疗用具的所述拟形操作模块 (2)来对三维人体模型进行处 理操作， 其中， 所述交互模块(3)能够将测试者的动作与虚拟场景进行交互融合， 并且使得虚拟场景 中的三维人体模型能够根据虚拟医疗用具的运动产生视 觉反馈和触觉反馈 。 10.如权利要求9所述的基于虚拟现实的质控反馈方法， 其特征在于， 穿戴模块(4)能够 将交互模块(3)生成的融合场景进 行展示， 使得测试者能够获得沉浸式的仿 真体验， 并且所 述穿戴模块(4)以影像采集的方式获取并分析测试者在进行训练或测试时的手部姿态， 从 而通过与预先存储的标准数据进 行比对的方式来 获取动作估值， 进而根据运动估值生成测 试者的测评报告。权　利　要　求　书 2/2 页 3 CN 115328317 A 3