(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210827461.0 (22)申请日 2022.07.13 (71)申请人 广州视景医疗软件 有限公司 地址 510665 广东省广州市天河区科韵路 24-26号南楼第八层801-808房 (72)发明人 吴栩平　刘玉萍　 (74)专利代理 机构 北京风雅颂专利代理有限公 司 11403 专利代理师 李翔 (51)Int.Cl. G06T 7/00(2017.01) G06T 7/73(2017.01) G06V 10/44(2022.01) G06V 10/774(2022.01) G06V 10/82(2022.01)G16H 50/20(2018.01) G06N 3/08(2006.01) A61B 3/14(2006.01) (54)发明名称 一种基于深度学习的眼检测方法及斜视筛 查系统 (57)摘要 本发明实施例公开了一种基于深度学习的 眼检测方法， 包括以下步骤： a.准备用于眼部图 像识别的深度学习检测模 型； b.获取受检者的左 眼注视眼部图像与右眼注视眼部图像； c.利用所 述深度学习检测模型对所述左眼注视眼部图像 与右眼注视眼部图像进行检测分析， 获得受检者 两眼的角 膜、 瞳孔和映光点的位置数据。 本发明 实施例还公开了一种基于深度学习的斜视筛查 系统， 用于获得受检者左右眼的斜视度并判断受 检者是否存在斜视的风险。 权利要求书2页 说明书6页 附图2页 CN 115409774 A 2022.11.29 CN 115409774 A 1.一种基于深度学习的眼检测方法， 其特 征在于， 包括以下步骤： a.准备用于眼部图像识别的深度学习检测模型； b.获取受检者的左眼注视眼部图像与右眼注视眼部图像； c.利用所述深度学习检测模型对所述左眼注视 眼部图像与右眼注视 眼部图像进行检 测分析， 获得受检者两眼的角膜、 瞳孔和映光 点的位置数据。 2.根据权利要求1所述的方法， 其特征在于， 所述深度学习 模型是利用深度神经网络训 练得到的关键点检测模型， 用于获得角膜、 瞳孔和映光 点的轮廓的关键点。 3.根据权利要求2所述的方法， 其特征在于， 所述深度学习检测模型通过以下方法训练 得到， 包括： 1)制作包括训练集和测试集的数据集， 包括准备具有清晰眼部轮廓的多张人脸图像， 在所述人脸图像上对眼部的角膜、 瞳孔和映光点的特征区域的轮廓进行关键点标注， 再将 所有标注好的图像根据一定比例随机分成训练集与测试集； 2)搭建深度神经网络模型 结构； 3)将所述训练集传入所述深度神经网络进行训练， 得到深度学习检测模型； 4)利用所述测试集对所述深度学习检测模型进行评价， 直至模型精度达 到98％以上。 4.根据权利要求3所述的方法， 其特征在于， 所述数据集的关键点标注包括对单只眼选 用36关键点的标注方式， 其中角膜包含16个关键点， 瞳孔包含12个关键点， 映光点包含8个 关键点。 5.根据权利要求3所述的方法， 其特征在于， 所述深度神经网络模型结构采用 HigherHRNet模型 结构。 6.根据权利要求1所述的方法， 其特征在于， 还包括通过受检者的年龄和性别估计受检 者角膜的实际横径和垂直径或者通过所述图像中设置的 已知尺寸的参照物估计受检者角 膜的实际横径和垂直径。 7.根据权利要求1所述的方法， 其特征在于， 步骤b还包括利用具有光源的摄像装置拍 摄受检者的左眼注视眼部图像与右眼注视眼部图像， 其中受检者距离摄像镜头一定距离 处， 保持光源常亮， 使受检者眼睛与光源保持在同一水平线， 遮盖右眼， 左眼注视光源， 在 去 掉右眼遮盖的瞬间拍摄图像， 即获得左眼注视眼部图像； 再遮盖左眼， 右眼注视光源， 在去 掉左眼遮盖的瞬 间拍摄图像， 即获得右眼注视眼部图像。 8.根据权利要求1所述的方法， 其特 征在于， 步骤c还 包括： 1)利用所述深度学习检测模型对受检者的左眼注视 眼部图像与右眼注视 眼部图像进 行检测， 获得左眼注视与右眼注视时的角膜、 瞳孔和映光 点的多个关键点； 2)根据检测到的关键点分别对角膜、 瞳孔、 映光点的轮廓进行圆拟合， 圆心即为中心， 获得包括角膜中心、 瞳孔中心和映光 点中心的位置坐标的模型检测结果。 9.根据权利要求8所述的方法， 其特 征在于， 步骤c还 包括： 3)利用所述模型检测结果计算受检者的左右眼的kappa角和映光点中心到瞳孔中心的 偏移量， 计算得到排除kap pa角影响的受检者两眼的斜视度。 10.一种基于深度学习的斜视筛查系统， 其特征在于， 所述系统包括接收单元， 用于接 收受检者的左眼注视眼部图像与右眼注视眼部图像； 处理单元， 用于利用深度学习检测模 型对所述左眼注视眼部图像与 右眼注视眼部图像进行检测分析， 获得包括受检者两眼的角权　利　要　求　书 1/2 页 2 CN 115409774 A 2膜、 瞳孔和映光点的位置数据的模型检测结果； 分析单元， 用于根据所述模型检测结果计算 左右眼的斜视度并判断受检者是否存在斜视的风险； 输出单元， 用于输出受检者的斜视筛 查报告。 11.如权利要求10所述的斜视筛查系统， 其特征在于， 所述接收单元接收到的受检者的 左眼注视眼部图像与右眼注视眼部图像是由移动终端拍摄并上传的。 12.如权利要求10所述的斜视筛查系统， 其特征在于， 所述深度 学习模型是利用深度神 经网络训练得到的关键点检测模 型， 用于获得角膜、 瞳孔和映光点的关键点； 所述深度学习 检测模型通过以下 方法训练得到， 包括： 1)制作包括训练集和测试集的数据集， 包括准备具有清晰眼部轮廓的多张人脸图像， 在所述人脸图像上对眼部的角膜、 瞳孔和映光点的特征区域的轮廓进行关键点标注， 再将 所有标注好的图像根据一定比例随机分成训练集与测试集； 2)搭建深度神经网络模型 结构； 3)将所述训练集传入所述深度神经网络进行训练， 得到深度学习检测模型； 4)利用所述测试集对所述深度学习检测模型进行评价， 直至模型精度达 到98％以上。 13.如权利要求10所述的斜视筛查系统， 其特征在于， 所述处理单元获得的受检者两眼 的角膜、 瞳孔和映光点的位置数据包括受检者左眼注视和右眼注视时的两眼的角膜中心、 瞳孔中心和映光 点中心的相对位置坐标。 14.如权利要求13所述的斜视筛查系统， 其特征在于， 所述分析单元还用于根据左眼注 视时左眼的角膜中心、 瞳孔中心和映光点中心的相对位置坐标计算左眼的kappa角， 根据右 眼注视时右眼的角膜中心、 瞳孔中心和映光 点中心的相对位置坐标计算右眼的kap pa角。 15.如权利要求14所述的斜视筛查系统， 其特征在于， 所述分析单元还用于根据左眼注 视时右眼的角膜中心、 瞳孔中心和映光点中心的相对位置坐标和所述右眼的kappa角计算 右眼的斜视度， 根据右眼注视时左眼的角膜中心、 瞳孔中心和映光点中心的相对位置坐标 和所述左眼的kap pa角计算左眼的斜视度。 16.如权利要求15所述的斜视筛查系统， 其特征在于， 所述分析单元判断受检者是否存 在斜视风险的判据为： 若任一眼的斜视度超过10 °， 则受检者的斜视风险为高； 若两眼的斜 视度均不超过10 °， 则受检者的斜视风险为低。 17.如权利要求10所述的斜视筛查系统， 其特征在于， 所述输出单元选自移动终端、 显 示器或打印机 。权　利　要　求　书 2/2 页 3 CN 115409774 A 3