(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210334824.7 (22)申请日 2022.03.31 (71)申请人 北京科技大 学 地址 100083 北京市海淀区学院路3 0号 (72)发明人 姚超　刘泓君　班晓娟　王笑琨　 (74)专利代理 机构 北京市广友专利事务所有限 责任公司 1 1237 专利代理师 张仲波 (51)Int.Cl. G06V 30/148(2022.01) G06V 10/34(2022.01) G06V 10/44(2022.01) G06V 10/764(2022.01) G06V 10/82(2022.01) G06K 9/62(2022.01)G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 一种实时手写交 互的线上辅助教学系统 (57)摘要 本发明提供一种实时手写交互的线上辅助 教学系统， 属于人机交互技术领域。 所述系统包 括： 提取模块， 用于采用 深度学习方法对摄像头 捕捉到的实时直播图像进行手部骨架提取， 得到 手部关键点坐标； 手势识别模块， 用于通过手部 关键点坐标进行手势识别， 并根据手势识别结果 进行模式切换， 所述模式包括： 字符输入、 基本图 形绘制和草图绘制； 字符识别模块， 用于识别用 户输入的手写体字符， 获取对应的印刷体字符； 图形绘制模块， 用于识别用户绘制的基本图形， 获取轨迹平滑后的基本图形； 图像生成模块， 用 于根据用户绘制的草图进行图像生成 并可视化。 采用本发明， 能够解决线上课 板书缺失的问题。 权利要求书1页 说明书8页 附图5页 CN 114863433 A 2022.08.05 CN 114863433 A 1.一种实时手写交 互的线上辅助教学系统， 其特 征在于， 包括： 提取模块， 用于采用深度学习方法对摄像头捕捉到的实时直播图像进行手部骨架提 取， 得到手部关键点 坐标； 手势识别模块， 用于通过手部关键点坐标进行手势识别， 并根据手势识别结果进行模 式切换， 所述模式包括： 字符输入、 基本图形绘制和草图绘制； 字符识别模块， 用于识别用户输入的手写体字符， 获取对应的印刷体字符； 图形绘制模块， 用于识别用户绘制的基本图形， 获取轨 迹平滑后的基本图形； 图像生成模块， 用于根据用户绘制的草图进行图像生成并可视化。 2.根据权利要求1所述的实时手写交互 的线上辅助教学系统， 其特征在于， 所述提取模 块包括： 手掌检测网络， 用于提取所述实时直播图像的浅层特征和深层特征， 并对所提取的特 征进行反卷积后， 上采样到原图像四分之一的尺度， 通过锚点固定的矩形确定是否存在要 检测的手掌； 关键点检测网络， 用于利用预训练的VGG ‑19网络， 获取手掌所在区域内多个关键点的 坐标， 并判断该区域当前 是否仍存在手。 3.根据权利要求1所述的实时手写交互 的线上辅助教学系统， 其特征在于， 所述手势识 别模块， 用于利用预训练的前馈神经网络， 通过所述关键点坐标进 行手势识别， 并根据手势 识别结果， 判断手势语义， 进行模式切换。 4.根据权利要求3所述的实时手写交互 的线上辅助教学系统， 其特征在于， 对前馈神经 网络预训练之前， 将获取的手势识别数据集中的关键点坐标转换为基于手腕的相对点坐 标， 将转后得到的基于手腕的相对点坐标合并为一维向量， 并将一维向量中的坐标根据最 大值进行归一 化， 利用归一 化后的坐标训练前馈神经网络 。 5.根据权利要求1所述的实时手写交互 的线上辅助教学系统， 其特征在于， 所述字符识 别模块， 具体用于通过二值化文本检测 器进行图像分割， 定位文本区域， 实现文本检测； 通 过文本框方向分类器将定位的文本区域转换为水平的矩形文本框， 以进行后续的文本识 别； 利用预训练的文本识别器， 基于转换后得到的水平矩形文本框， 通过特征提取实现字符 识别， 将识别到的手写体字符输出为印刷体字符。 6.根据权利要求1所述的实时手写交互 的线上辅助教学系统， 其特征在于， 所述基本图 形绘制模块， 具体用于利用道格拉斯 ‑普克算法对用户绘制的基本图形进 行多边形拟合， 并 可视化拟合后的基本图形。 7.根据权利要求1所述的实时手写交互 的线上辅助教学系统， 其特征在于， 所述图像生 成模块， 具体用于根据用户绘制的草图， 利用预训练好的生成网络进 行图像生成， 并可视化 生成的图像。权　利　要　求　书 1/1 页 2 CN 114863433 A 2一种实时手写交互的线上辅助教 学系统 技术领域 [0001]本发明涉及人机交互技术领域， 特别是指一种实时手写交互的线上辅助教学系 统。 背景技术 [0002]在线上教学过程中， 多媒体设备的应用使得课堂教学内容变得丰富了许多， 方式 也变得多样了。 但是单纯使用鼠标进行多媒体课件讲授时， 其实时标注讲解效果却并不理 想； 对于那些注重逻辑推导的发病机制或产生机理的课程教学， 多媒体课件的使用效果也 不能令人满意， 这大 大限制了 课堂教学的灵活性。 [0003]手写板书对信息 的便利展示是线下教学的重要优势之一。 在线下教学场景中， 涉 及书写示范与由师生交互带来的新信息展示主要由黑板与粉笔完成， 具有展示效率高、 展 示过程清晰、 硬件依存度低的有点。 这些优势在线上教学中， 则难以体现， 带来了一些客观 问题： [0004]1.使用鼠标、 电脑触控板功能配合PPT、 PDF批注功能， 书写效率低， 很难保证文字 书写美观与板书排版整齐； [0005]2.使用软件电子白板， 由于鼠标书写的精细化程度有限， 在特定区域内书写信息 负载量非常小； [0006]3.使用摄像头展示纸笔书写， 与课件、 教师画面之间来回切换耗费时间， 影响课堂 流畅性、 打乱教学节奏； [0007]4.使用WORD文档打字输入板书， 能操作了板书结构形式有限， 特殊符号如笔画拼 音的输入受限较大。 [0008]有些教师中， 也存在有提前设计好板书， 在教学过程中展示的情况。 但是这种方式 也存在有客观问题： [0009]1.教师在教学内容设计完成后， 还需要投入大量时间进行板书设计， 模式难以为 继； [0010]2.预设计板书难以补充新材料， 对于语言课程这样高密度互动、 新信息出现频率 高的课程难以满足需求。 [0011]使得板书效果最佳的方案， 是搭建由平板电脑、 具有压感功能手写笔、 投屏软件所 组成的功能强大的电子白板。 高精度的批注功能， 配合其它软件， 可以实现便捷、 高效率、 清 晰的展示功能， 能高度还原线下教学黑板的使用场景。 然而此方法的缺点则在于软硬件投 资较大， 教师投入意愿相对较低， 单位采购流 程较长， 实现成本较高。 发明内容 [0012]本发明实施例提供了实时手写交互的线上辅助教学系统， 能够 解决线上课板书缺 失的问题。 所述 技术方案如下： [0013]一方面， 提供了一种实时手写交 互的线上辅助教学系统， 包括：说　明　书 1/8 页 3 CN 114863433 A 3