(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210360790.9 (22)申请日 2022.04.07 (71)申请人 贝壳找房网 （北京） 信息技 术有限公 司 地址 101500 北京市密云区经济开发区兴 盛南路8号开发区办公楼501室-1834 (经济开发区集中办公区) (72)发明人 孙建伟　徐延广　韩阳　邹伟　 李先刚　 (74)专利代理 机构 北京思源智汇知识产权代理 有限公司 1 1657 专利代理师 毛丽琴 (51)Int.Cl. G06V 40/20(2022.01) G06V 10/44(2022.01)G06V 10/764(2022.01) G06V 10/82(2022.01) G06K 9/62(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01) G10L 15/02(2006.01) G10L 15/06(2013.01) G10L 15/16(2006.01) G10L 15/22(2006.01) (54)发明名称 设备控制方法和装置、 电子设备和存 储介质 (57)摘要 本公开实施例公开了一种设备控制方法和 装置、 电子设备和存储介质， 其中， 方法包括： 获 取用户的唇部区域的图像序列、 以及与所述图像 序列对应的音频序列； 对所述图像序列和所述音 频序列进行识别， 得到音视频识别结果； 确定所 述音视频识别结果与预设命令词是否匹配； 响应 于所述音视频识别结果与所述预设命令词匹配， 基于所述预设命令词中与所述音视频识别结果 匹配的目标命令词， 控制电子设备执行所述目标 命令词对应的操作。 本公开实施例可以提高对电 子设备控制的准确率。 权利要求书2页 说明书18页 附图7页 CN 114677762 A 2022.06.28 CN 114677762 A 1.一种设备控制方法， 其特 征在于， 包括： 获取用户的唇部区域的图像序列、 以及与所述图像序列对应的音频序列， 其中， 所述图 像序列包括基于时序关系的多帧图像， 所述音频序列包括基于时序关系的多帧音频； 对所述图像序列和所述音频序列进行识别， 得到音视频识别结果； 确定所述音视频识别结果与预设命令词是否匹配； 响应于所述音视频识别结果与所述预设命令词匹配， 基于所述预设命令词中与所述音 视频识别结果匹配的目标命令词， 控制电子设备 执行所述目标命令词对应的操作。 2.根据权利要求1所述的方法， 其特征在于， 所述获取用户的唇部区域的图像序列、 以 及与所述图像序列对应的音频序列之前， 还 包括： 对所述用户进行身份认证； 响应于所述用户通过身份认证， 执行所述获取用户的唇部区域的图像序列、 以及与所 述图像序列对应的音频序列的操作。 3.根据权利要求1或2所述的方法， 其特征在于， 所述对所述图像序列和所述音频序列 进行识别， 得到音视频识别结果， 包括： 对所述音频序列进行语音特征提取， 得到语音特征序列， 所述语音特征序列包括基于 时序关系的所述多帧音频的语音特 征； 对所述图像序列进行图像特征提取， 得到 图像特征序列， 所述图像特征序列包括基于 时序关系的所述多帧图像的图像特 征； 基于所述语音特征序列和所述图像特征序列， 预测所述音频序列和所述图像序列对应 的识别结果， 得到音视频识别结果。 4.根据权利要求3所述的方法， 其特征在于， 所述基于所述语音特征序列和所述图像特 征序列， 预测所述音频序列和所述图像序列对应的识别结果， 得到音视频识别结果， 包括： 对所述语音特征序列进行特征提取， 得到预设尺寸的语音特征向量； 对所述图像特征 序列进行 特征提取， 得到预设尺寸的图像特 征向量； 将所述语音特 征向量和所述图像特 征向量进行融合， 得到融合特 征； 基于所述融合特征预测所述音频序列和所述图像序列对应的识别结果， 得到音视频识 别结果。 5.根据权利要求4所述的方法， 其特征在于， 未获取到所述唇部区域的图像序列或者所 述图像序列对应的音频序列时， 所述将所述语音特征向量和所述图像特征向量进行融合， 得到融合特 征， 包括： 以预设尺寸的全零特征向量作为第 一特征向量， 将所述第 一特征向量与第 二特征向量 进行融合， 得到所述融合特 征； 其中， 所述第一特征向量包括： 未获取到的所述唇部区域的图像序列对应的所述预设 尺寸的图像特征向量， 或者， 未获取到的所述音频序列对应的所述预设尺寸的语音特征向 量； 所述第二特征向量包括： 所述语音特征向量和所述图像特征向量中除所述第一特征向 量之外的所述语音特 征向量或者所述图像特 征向量。 6.根据权利要求5所述的方法， 其特 征在于， 还 包括： 获取所述电子设备的控制模式信息； 基于所述控制模式信息， 响应于所述电子设备的控制模式为多模控制模式， 执行所述权　利　要　求　书 1/2 页 2 CN 114677762 A 2获取用户的唇部区域的图像序列、 以及与所述图像序列对应的音频序列的操作； 响应于所述电子设备的控制模式为基于语音或图像的单模控制模式， 基于所述单模控 制模式， 获取所述用户的唇部区域的图像序列或者音 频序列， 其中， 所述图像序列包括基于 时序关系的多帧图像， 所述音频序列包括基于时序关系的多帧音频； 所述未获取到所述唇部区域的图像序列或者所述图像序列对应的音频序列， 包括： 所述电子设备的控制模式为基于语音的单模控制模式， 基于所述基于语音的单模控制 模式， 获取 所述用户的音频序列； 或者 所述电子设备的控制模式为基于图像的单模控制模式， 基于所述基于图像的单模控制 模式， 获取 所述用户的唇部区域的图像序列。 7.一种设备控制装置， 其特 征在于， 包括： 第一获取模块， 用于获取用户的唇部区域的图像序列、 以及与所述图像序列对应的音 频序列， 其中， 所述图像序列包括基于时序关系的多帧图像， 所述音频序列包括基于时序关 系的多帧音频； 识别模块， 用于对所述图像序列和所述音频序列进行识别， 得到音视频识别结果； 确定模块， 用于确定所述音视频识别结果与预设命令词是否匹配； 控制模块， 用于根据所述确定模块的确定结果， 响应于所述音视频识别结果与所述预 设命令词匹配， 基于所述预设命令词中与所述音视频识别结果匹配的目标命令词， 控制电 子设备执行所述目标命令词对应的操作。 8.一种电子设备， 其特 征在于， 包括： 存储器， 用于存 储计算机程序 产品； 处理器， 用于执行所述存储器中存储的计算机程序产品， 且所述计算机程序产品被执 行时， 实现上述权利要求1 ‑6任一所述的方法。 9.一种计算机可读存储介质， 其上存储有计算机程序指令， 其特征在于， 该计算机程序 指令被处 理器执行时， 实现上述权利要求1 ‑6任一所述的方法。 10.一种计算机程序产品， 包括计算机程序指令， 其特征在于， 该计算机程序指令被处 理器执行时实现上述权利要求1 ‑6任一所述的方法。权　利　要　求　书 2/2 页 3 CN 114677762 A 3