(19)国家知识产权局 (12)发明 专利 (10)授权公告 号 (45)授权公告日 (21)申请 号 202211003635.8 (22)申请日 2022.08.22 (65)同一申请的已公布的文献号 申请公布号 CN 115082717 A (43)申请公布日 2022.09.20 (73)专利权人 成都不烦智能科技有限责任公司 地址 610000 四川省成 都市自由贸易试验 区成都高新区天府大道北段20号B座 907号 (72)发明人 沈伟　吴怀谷　张楠欣　 (51)Int.Cl. G06V 10/75(2022.01) G06V 10/44(2022.01) G06V 10/74(2022.01)(56)对比文件 CN 113688981 A,2021.1 1.23 CN 113657573 A,2021.1 1.16 CN 113240012 A,2021.08.10 US 9373036 B1,2016.0 6.21 US 2011050896 A1,201 1.03.03 黄绿娥.基 于记忆学习的高速运动感知图像 的去模糊及目标识别研究. 《中国优秀博硕士学 位论文全文数据库 （博士） 信息科技 辑》 .2021, (第01期), Jihwan Bang等.Rai nbow Memory: Continual Learn ing with a Memory of Diverse Samples. 《2021 IE EE/CVF Conference on Computer Visi on and Pat tern Recognition (CVPR)》 .2021,第8214-82 23页. 审查员 李佳丽 (54)发明名称 基于视觉感知的动态目标识别和情景记忆 认知方法及系统 (57)摘要 本发明公开了基于视觉感知的动态目标识 别和情景记忆认知方法及系统， 方法利用机器人 对当前用户界面进行视觉感知； 对视觉感知结果 进行场景空间特征处理， 构建当前用户界面的空 间特征； 根据空间特征锁定用户界面中的可视目 标元素并对其进行目标轮廓特征处理， 提取出轮 廓特征； 对界面元素进行特征匹配识别， 利用界 面元素对应的概念来构建情景记忆， 在情景记忆 上对每一个概念元素对象在某个时间窗口内的 表现完成它曾经和当前的状态、 变化的趋势和轮 廓等信息的感知， 以实现对用户界面表象所蕴含 的内在知识进行认知， 来提升机器人通过用户界 面实施业 务操作的精准度和质量。 权利要求书3页 说明书8页 附图2页 CN 115082717 B 2022.11.08 CN 115082717 B 1.基于视觉感知的动态目标识别和情景记 忆认知方法， 其特 征在于， 包括以下步骤： 步骤一： 利用机器人对当前用户界面进行视 觉感知； 步骤二： 对视觉感知结果进行场景空间特征处理， 构建当前用户界面的空间特征； 具体 包括以下子步骤： S201， 背景区域处理， 根据视觉感知 结果， 将用户界面的背景区域中静止不动的界面区 域设定为背景， 同时将背景区域中被遮挡目标的部分也设定为背景； S202， 前景区域处理， 将用户界面的前景区域中动态变化且未被遮挡的界面区域设定 为前景； S203， 目标遮挡识别， 从用户界面的背景区域中识别出属于被遮挡目标的部分区域， 作 为被遮挡目标的跟踪区域； S204， 目标遮挡关联， 结合用户界面的前景和被遮挡目标的跟踪区域， 检测出前景与被 遮挡目标的关联关系； 步骤三： 根据当前用户界面的空间特征， 利用滑动 窗口锁定用户界面中的可视目标元 素； 步骤四： 对锁定的可视目标元素进行目标轮廓特征处理， 提取出可视目标元素的轮廓 特征； 步骤五： 从视觉情景记忆中搜索与可视目标元素的轮廓特征相似的目标， 若搜索到相 似目标且相似目标发生状态变化时， 则将可视目标元素的新状态与相似目标进行记忆关 联； 若未搜索到相似目标， 则从知识库中获取可视目标元素的概念标签， 将概念标签的目标 及其状态存 入视觉情景记 忆中； 步骤六： 以定时和目标状态变化触发方式从视觉情景记忆中提取可视目标元素的状态 变化信息， 根据当前场景状态Si下每个可视目标元素的状态变化信息调整每个可视目标元 素所对应的滑动窗口， 实现对用户界面中的可视目标识别与跟踪。 2.根据权利要求1所述的基于视觉感知的动态目标识别和情景记忆认知方法， 其特征 在于， 所述 步骤四具体包括以下子步骤： S401， 前景目标捕获， 根据场景空间特征处理提供的前景区域， 从前景区域中捕获所有 已知空间特 征的目标， 捕获过程如下式所示： ； 式中， 特征匹配 （区域前景， 特征目标i） 是实现扫描区域前景， 寻找与特征目标i相似度满足要求 的目标区域； S402， 目标切图， 根据步骤S401捕获识别出来的目标， 按照各个目标对应的目标区域， 从前景区域中完成目标区域的切图， 切图过程为： 选择目标i， 在视域中提取能完整包含 目 标i轮廓的左上角边界坐标和右下角边界坐标； 依据左上角边界坐标和右下角边界坐标进 行矩形切图， 形成关于目标i的切图 ； S403， 目标轮廓形成， 选择目标i的切图， 灰度化切图 ， 计算出切图 的亮度梯 度； 设定梯度阈值， 按照梯度阈值提取出目标i的连续轮廓； 按照连续轮廓从切图 中提权　利　要　求　书 1/3 页 2 CN 115082717 B 2取出目标i的独立完整的灰度图片 ： S404， 轮廓特征提取， 利用图像形态学方法， 对灰度图片 进行先腐蚀再膨胀计算， 模糊灰度图片 的轮廓细节， 突出灰度图片 的边缘： 利用角度梯度计算表示法计算 出灰度图片 边缘角点， 根据边 缘角点形成目标i的轮廓特 征 ； S405， 轮廓特征匹配识别， 用所提取的目标i的轮廓特征 ， 从已知目标轮廓特征库 中进行比对寻找， 若找到相似目标轮廓特征， 则将目标进行已知目标概念的标注； 若 未找到 相似目标轮廓特 征， 则将目标i标注为未知目标。 3.根据权利要求1所述的基于视觉感知的动态目标识别和情景记忆认知方法， 其特征 在于， 所述步骤六具体为： 通过表象感知技术以定时和目标状态变化触发方式从视觉情景 记忆中提取当前用户界面状态下可视目标元素的状态变化信息， 状态变化信息包括可视目 标元素的空间特征和轮廓特征； 将提取出所有可视目标元素的状态变化信息整理形成可视 目标元素列表， 向识别成果库输出当前用户界面状态下包含的可视目标元素列表； 根据当 前场景状态Si下每个可视目标元素的状态变化信息调整每个可视目标元素所对应的滑动 窗口， 实现对用户界面中的可视目标 快速识别和有效跟踪。 4.一种采用上述权利要求1~3任意一项所述的基于视觉感知的动态目标识别和情景记 忆认知方法实现的基于视觉感知的动态目标识别和情景记忆认知系统， 其特征在于， 包括 目标轮廓特征处理模块、 场景空间特征处理模块、 视觉情景记忆模块、 目标表象库、 表象感 知模块、 注意移动模块和识别成果库； 目标轮廓特征处理模块用于捕获可视目标元素 的轮 廓特征； 场景空间特征处理模块用于提取用户界面中的空间特征； 视觉情景记忆模块用于 存储可视目标元素 的视觉情景记忆， 包含背景和前景元素， 及可视目标元素在指定时间窗 口内各时间片的状态和变化情况； 目标表象库用于存储已知概念化的目标表象； 表象感知 模块用于在有限状态机下进行状态目标识别； 识别成果库用于存储用户界面当前场景状态 Si及其包含的可视概念元素； 注意移动模块用于锁定场景中发生位置变化的目标元素， 并 跟踪目标 元素的位置 。 5.根据权利要求4所述的基于视觉感知的动态目标识别和情景记忆认知系统， 其特征 在于， 所述 提取用户界面中的空间特 征过程具体包括以下子步骤： S201， 背景区域处理， 根据视觉感知 结果， 将用户界面的背景区域中静止不动的界面区 域设定为背景， 同时将背景区域中被遮挡目标的部分区域 也设定为背景； S202， 前景区域处理， 将用户界面的前景区域中动态变化且未被遮挡的界面区域设定 为前景； S203， 目标遮挡识别， 从用户界面的背景区域中识别出属于被遮挡目标的部分区域， 作 为被遮挡目标的跟踪区域； S204， 目标遮挡关联， 结合用户界面的前景和被遮挡目标的跟踪区域， 检测出前景与被 遮挡目标的关联关系。 6.根据权利要求4所述的基于视觉感知的动态目标识别和情景记忆认知系统， 其特征 在于， 所述捕获可视目标 元素的轮廓特 征过程具体包括以下子步骤： S401， 前景目标捕获， 根据场景空间特征处理提供的前景区域， 从前景区域中捕获所有权　利　要　求　书 2/3 页 3 CN 115082717 B 3