(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210960307.0 (22)申请日 2022.08.11 (71)申请人 天津大学 地址 300072 天津市南 开区卫津路9 2号 (72)发明人 曲宗峰　焦利敏　胡清华　李红伟　 朱鹏飞　金轮　曹海芳　 (74)专利代理 机构 天津市北洋 有限责任专利代 理事务所 12 201 专利代理师 刘子文 (51)Int.Cl. G10L 15/01(2013.01) G10L 15/22(2006.01) G10L 15/26(2006.01) H04N 5/232(2006.01) G05D 1/02(2020.01) (54)发明名称 一种用于智能终端语音交互的检测方法及 系统 (57)摘要 本发明公开一种用于智能终端语音交互的 检测方法及系统， 结合了目标检测算法和自主导 航机器人， 可以对通用的智能化 设备的智能功能 进行测试， 在可容忍的误判率下， 达到了代替大 量人力、 人机协 同完成智 能化设备测试。 本发明 利用人机协 同的理念， 最小化人工操作， 最大化 智能操作， 由机器人和算法平台代 替人工完成枯 燥单一的任务， 并具 备标准化、 可复检的效果。 权利要求书4页 说明书11页 附图13页 CN 115482807 A 2022.12.16 CN 115482807 A 1.一种用于智能终端语音交 互的检测方法， 其特 征在于， 包括如下步骤： S101.测试 人员通过测试系统平台制定测试任务； S102.智能机器人按照测试任务自主导航到达选定位置后， 通过自身运动组件调节相 对应操作和观察高度； S103.通过智能机器人的音响播放语音指令控制智能化设备， 判断智能操控效果， 摄像 机录制对应的视频或照片用以对比操控效果； S104.将获取到的视频或照片输入到对应的文字识别算法或目标检测算法； S105.将识别到的文字目标和语音指令进行匹配得 出测试结果， 生成测试报告。 2.根据权利要求1所述的一种用于智能终端语音交互的检测方法， 其特征在于， S101包 括： 测试人员在系统平台选择家电种类、 智能机器人到达位置、 音响播放高度、 测试次数和 待测试语音指令， 且系统平台通过数据库筛选智能化设备空调不具备 的指令， 数据库通过 SOL协议进行指令检索， 且同时通过测试 人员进行手工判断整体测试精度； S102包括： 智能机器人模拟人类进行语音播 放， 其中智能机器人包括上位机、 下位机； 上位机包括工控机、 信息采集机构、 激光雷达、 音响麦克风、 可移动挂壁； 其中可移动挂 壁用于放置音响麦克风， 音响麦克风用于播放语音指令， 用于进行智能化设备语音功能测 试； 下位机包括单片机、 IMU、 超声 波传感器、 电机驱动及编码器电机； S103包括： 生成操控效果文本， 且操控效果文本通过单片机中集成的云端算法转换为 可播放语音格式， 操控效果文本具体包括特征提取、 模式匹配和参考模式库三个单元， 且特 征提取通过对语音进行预处理来提取语音特征， 通过对声波的声纹的首尾静音切除， 并通 过对声音分帧后， 提取MFCC特征， 声音变为观察矩阵， 并采用声母和韵母作为音素集， 组成 读出的单词； 系统平台通过和大华网络摄像头及智能机器人进行交互， 完成每段语音指令对应的视 频录制及保存； S104包括： 将用于文字识别的各段语音指令对应的视频或图片传入到文字检测算法中 得到图中的文字区域坐标， 再将文字区域的坐标信息传入到文字识别算法， 文字识别算法 包括检测 提取得到坐标信息后， 通过投影直方图分割 出单行的文本的图片， 对单行 的文本 进行分割字符， 并通过 卷积神经网络对分割字符进行 校正处理， 得到校正后的文本； 将用于目标检测的视频或照片传入到目标检测算法中， 若检测出目标则会在图中标记 为规则矩形， 并保存文字类别 信息； 所述S105包括： 将语音指令通过自然语言处理提取出关键词， 并将文字识别得到的文 字目标以及目标检测得到的文字类别信息 分别与语音指令 关键词进行匹配， 若匹配 成功则 标记为成功， 否则为失败； 所有测试任务完成后， 生成测试任务报告。 3.根据权利要求1所述的一种用于智能终端语音交互的检测方法， 其特征在于， S101包 括： 测试人员在系统平台内输入待测试语音指 令， 智能机器人即将到达的位置、 音响播放的 高度、 播放的方言类别、 测试次数； 其中， 输入的语音指令将通过算法转换为机器人 可播放的音频； S102包括： 智能机器人能够实现自主导航到达测试人员指定位置和高度， 进行指令播权　利　要　求　书 1/4 页 2 CN 115482807 A 2放； S103包括： 通过影像采集装置对智能化设备面板录制或拍摄， 完成智能化设备面板对 语音指令做出反馈的视 觉采集工作； S104包括： 通过将影像采集装置采集的视频流或照片输入到目标检测器yolov5中得到 相应目标的坐标和 类别， 跳帧检测视频， 当检测到目标， 对应目标会由规则框标记出， 且将 目标种类存放到label[]中， 照片同上； S105包括： 将检测到的文字目标和语音指令进行关键词匹配， 若匹配成功则说明智能 化设备完成该条语音指令的反馈， 若匹配失败则 说明智能化设备未完成该语音指令； 匹配 失败后， 贴标机构(3)会 对未完成该语音指令智能化设备表面贴上不 合格的标签； 所有测试任务完成后， 生成测试任务报告。 4.一种用于智能终端语音交互检测方法的检测系统， 包括承载板(1)， 其特征在于， 所 述承载板(1)的下表面设置有用于避障减震的避障机构(2)， 所述避障机构(2)的两端均安 装有行走机构(3)， 所述承载板(1)的上表面设置有调整机构(4)， 所述调整机构(4)内安装 有用于防坠保护的防坠机构(5)， 所述防坠机构(5)连接有限位机构(6)， 所述调整机构(4) 的顶部安装有升降机构(7)， 所述升降机构(7)的顶部安装有信息采集机构(8)， 所述信息采 集机构(8)的一侧设置有播报机构(9)。 5.根据权利要求4所述的一种用于智能终端语音交互检测方法的检测系统， 其特征在 于， 所述避障机构(2)包括与承载板(1)固定的连接底座(201)， 所述连接底座(201)的前后 两端对称设置有2组安装 杆(202)， 每组安装 杆(202)设置有2个， 所述安装 杆(202)与连接底 座(201)连接的另一端安装有连接块(203)， 所述安装杆(202)的横截面呈 “H”形结构， 所述 安装杆(202)的内侧与第一连杆(204)的一端铰接， 第一连杆(204)的另一端设置有第二连 杆(205)， 所述第一连杆(204)与第二连杆(205)之间由强力弹簧(206)相连接， 第二连杆 (205)与连接底座(201)连接； 所述行走机构(3)包括与连接块(203)固定的驱动马达(301)， 所述驱动马达(301)的输出端连接有输出轴(302)， 所述输出轴(302)末端设置有行走轮 (303)， 调整机构(4)包括与承载板(1)固定的安装箱(401)， 所述安装箱(401)的上方一侧安 装有伺服电机(402)， 所述伺服电机(402)的输出端连接有伸入安装箱(401)内部的传动杆 (403)， 所述传动杆(403)的左右两端均 设置有固定块(404)， 所述固定块(404)关于止动块 (405)的中轴线左右对称设置， 所述固定块(404)与止动块(40 5)的外表面均呈啮齿状结构。 6.根据权利要求5所述的一种用于智能终端语音交互检测方法的检测系统， 其特征在 于， 所述安装箱(401)内部设有支撑台， 所述防坠机构(5)包括与支撑台滑动连接的活动杆 (501)， 所述活动杆(501)的内部开设有两个凹槽， 两个凹槽中分别设置有第一活动块(502) 和第二活动块(504)， 所述活动 杆(501)与第一活动块(502)之间、 活动 杆(501)与第二活动 块(504)之间均由第一弹簧(503)相连接且第一活动块(502)与第二活动块(504)相对设置， 所述活动杆(501)的顶部一侧固定有挤压块(505)， 所述第一活动块(502)与第二活动块 (504)均在活动杆(501)的内部构成滑动结构， 所述第一活动块(502)和第二活动块(504)均 与止动块(405)啮合连接， 所述限位机构(6)包括与止动块(405)卡合连接的竖杆(601)， 所 述竖杆(601)的内部贯穿有固定杆(602)， 竖杆(601)能够绕着固定杆(602)做旋转运动， 所 述固定杆(602)与竖杆(601)连接的另一端设置有支撑板(603)， 支撑板(603)上还安装有弹 簧连接板， 弹簧连接板上固定有第二弹簧(604)， 所述竖杆(601)的上部一侧设有与止动块权　利　要　求　书 2/4 页 3 CN 115482807 A 3