(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210159483.4 (22)申请日 2022.02.22 (71)申请人 山西医科 大学第一医院 地址 030001 山西省太原市解 放南路85号 (72)发明人 唐珊　郁磊　李俐　薛虹霞　 (74)专利代理 机构 北京高沃 律师事务所 1 1569 专利代理师 韩雪梅 (51)Int.Cl. G06V 40/16(2022.01) G06V 40/18(2022.01) G06V 10/44(2022.01) G06V 10/764(2022.01) G06V 10/82(2022.01) G06K 9/62(2022.01) G06N 3/04(2006.01)G06N 3/08(2006.01) G16H 40/20(2018.01) (54)发明名称 一种肌萎缩侧索硬化患者自主呼叫处理方 法及系统 (57)摘要 本发明涉及一种肌萎缩侧索硬化患者自主 呼叫处理方法及系统， 方法包括： 获取肌萎缩侧 索硬化患者的病床人像； 利用人眼关键点提取模 型提取所述病床人像中肌萎缩侧索硬化患者的 人眼关键点坐标； 根据所述人眼关键点坐标计算 肌萎缩侧索硬化患者的 眼部特征； 所述眼部特征 包括左眼特征和右眼特征； 根据所述眼部特征计 算肌萎缩侧索硬化患者的最终眨眼次数； 根据所 述最终眨眼次数确定分级信号； 照护人员根据所 述分级信号进行相应处理。 本发 明使失去行动能 力和呼叫能力的肌萎缩侧索硬化患者能够与照 护人员建立及时有效的沟通， 在帮助减轻照护人 员照顾负担的同时能够保证肌萎缩侧索硬化患 者的日常安全， 并且本发明的系统成本低， 准确 性高。 权利要求书3页 说明书9页 附图3页 CN 114529972 A 2022.05.24 CN 114529972 A 1.一种肌 萎缩侧索硬化患者自主呼叫处 理方法， 其特 征在于， 包括： 获取肌萎缩侧索硬化患者的病床人像； 利用人眼关键点提取模型提取所述病床人像中肌萎缩侧索硬化患者的人眼关键点坐 标； 根据所述人眼关键点坐标计算肌萎缩侧索硬化患 者的眼部特征； 所述眼部特征包括左 眼特征和右眼特 征； 根据所述眼部特 征计算肌 萎缩侧索硬化患者的最终眨眼次数； 根据所述 最终眨眼次数确定分级信号； 照护人员根据所述分级信号进行相应处 理。 2.根据权利要求1所述的肌萎缩侧索硬化患 者自主呼叫处理方法， 其特征在于， 所述利 用人眼关键点提取模型提取所述病床人像中肌萎缩侧索硬化患者的人眼关键点坐标， 之前 还包括： 根据所述病床人像构建训练集； 所述训练集包括所述病床人像、 初始人脸坐标、 初始人 眼关键点 坐标； 利用所述训练集对第 一卷积神经网络模型和第 二卷积神经网络模型进行训练， 得到人 脸识别子模型和关键点识别子模型； 所述人脸识别子模型和所述关键点识别子模型构成人 眼关键点 提取模型。 3.根据权利要求2所述的肌萎缩侧索硬化患 者自主呼叫处理方法， 其特征在于， 所述利 用所述训练集对第一卷积神经网络模型和 第二卷积神经网络模型进行训练， 得到人脸识别 子模型和关键点识别子模型， 具体包括： 将所述病床人像输入至所述第一卷积神经网络模型中， 输出 预测人脸 坐标； 根据预测人脸 坐标对所述病床人像进行裁 剪， 得到预测人脸图像； 将所述预测人脸图像输入至所述第二卷积神经网络模型中， 输出预测人眼关键点坐 标； 将所述预测人脸 坐标与初始人脸 坐标进行对比， 得到第一差值； 利用所述第 一差值对所述第 一卷积神经网络模型的参数进行调整， 得到人脸识别子模 型； 将所述预测人眼关键点 坐标与初始人眼关键点 坐标进行对比， 得到第二差值； 根据所述第 二差值对所述第 二卷积神经网络模型的参数进行调整， 得到关键点识别 子 模型。 4.根据权利要求1所述的肌萎缩侧索硬化患 者自主呼叫处理方法， 其特征在于， 所述根 据所述人眼关键点 坐标计算肌 萎缩侧索硬化患者的眼部特 征， 具体包括： 利用公式 计算每一帧病床人像中肌萎缩侧索硬化患者的 左眼特征和右眼特征； 式中， Mleft为左眼特征， Mright为右眼特征， p0,p1,p2,p3,p4,p5为左眼关 键点， p6,p7,p8,p9,p10,p11为右眼关键点； D(pi,pj)为pi与pj两点之间的欧氏距离，权　利　要　求　书 1/3 页 2 CN 114529972 A 2其中， pi表示第i个人眼关键点坐标， pj表示第j 个人眼关键 点坐标， xi表示第i个人眼关键点坐标的横坐 标， yi表示第i个人眼关键 点坐标的 纵坐标； xj表示第j个人眼关键点 坐标的横坐标， yj表示第j个人眼关键点 坐标的纵坐标。 5.根据权利要求1所述的肌萎缩侧索硬化患 者自主呼叫处理方法， 其特征在于， 所述根 据所述眼部特 征计算预设时间内肌 萎缩侧索硬化患者的最终眨眼次数， 具体包括： 计算所有帧病床人像中肌 萎缩侧索硬化患者的眼部特 征的均值和眼部特 征的标准差； 根据所述均值和所述标准差确定第一阈值； 顺序遍历所有帧的眼部特征， 判断当前帧的眼部特征是否大于所述第一阈值， 得到第 一判断结果； 若所述第一判断结果为当前帧的眼部特征小于第一阈值， 则继续遍历； 若所述第一判 断结果为当前帧的眼部特 征大于第一阈值， 则记录眨眼次数加一， 继续遍历； 遍历完成， 确定左眼眨眼次数和右眼眨眼次数； 将所述左眼眨眼次数和所述右眼眨眼次数中的最小值， 作为 最终眨眼次数。 6.根据权利要求1所述的肌萎缩侧索硬化患 者自主呼叫处理方法， 其特征在于， 所述根 据所述最终眨眼次数确定分级信号， 具体包括： 判断所述 最终眨眼次数 是否大于第二阈值， 得到第二判断结果； 若所述第二判断结果为最终眨眼次数大于第 二阈值， 则判断所述最终眨眼次数是否大 于第三阈值， 得到第三判断结果； 若所述第三判断结果为所述最终眨眼次数小于或者等于第三阈值且大于所述第二阈 值， 则向呼叫处 理中心发送一级信号； 若所述第三判断结果为所述最终眨眼次数大于第 三阈值， 则向呼叫处理中心发送二级 信号； 若所述第二判断结果为最终眨眼次数小于或者等于第 二阈值， 则不向呼叫处理中心发 送分级信号。 7.一种肌 萎缩侧索硬化患者自主呼叫处 理系统， 其特 征在于， 包括： 视频监控终端， 用于获取肌 萎缩侧索硬化患者的病床人像； 关键点提取模块， 用于利用人眼关键点提取模型提取所述病床人像中肌萎缩侧索硬化 患者的人眼关键点 坐标； 特征计算模块， 用于根据所述人眼关键点坐标计算肌萎缩侧索硬化患者的眼部特征， 所述眼部特 征包括左眼特 征和右眼特 征； 眨眼次数计算模块， 用于根据所述眼部特征计算肌萎缩侧索硬化患者的最终眨眼次 数； 分级信号确定模块， 用于根据所述 最终眨眼次数确定分级信号； 呼叫处理中心， 用于照护人员根据所述分级信号进行相应处 理。 8.根据权利要求7所述的肌萎缩侧索硬化患者自主呼叫处理系统， 其特征在于， 还包 括： 模型训练模块； 所述样本训练模块包括： 训练集构建单元， 用于根据 所述病床人像构建训练集； 所述训练集包括所述病床人像、 初始人脸 坐标、 初始人眼关键点 坐标；权　利　要　求　书 2/3 页 3 CN 114529972 A 3