(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211177495.6 (22)申请日 2022.09.26 (71)申请人 杭州海康威视数字技 术股份有限公 司 地址 310051 浙江省杭州市滨江区阡 陌路 555号 (72)发明人 李亮奇　石大虎　 (74)专利代理 机构 北京博思佳知识产权代理有 限公司 1 1415 专利代理师 杨春香 (51)Int.Cl. G06V 10/764(2022.01) G06V 10/774(2022.01) G06V 10/82(2022.01) G06V 10/40(2022.01)G06N 3/08(2006.01) G06N 3/04(2006.01) (54)发明名称 物体感知方法、 装置及电子设备 (57)摘要 本申请实施例提供一种物体感知方法、 装置 及电子设备。 在本实施例中， 通过目标物体感知 模型从待检测图像中划分出候选对象区域并输 出候选对象区域对应的视觉 特征(非文本特征)、 以及大规模视觉语言预训练模型输出的各候选 类别(预先设定好的类别)对应的文本特征， 来确 定候选对象区域中候选对象所属的目标类别， 实 现了基于 大规模视觉语言预训练实现物体感知； 基于如上描述的大规模视觉语言预训练模型输 出的各候选类别对应的文本特征， 这相当于借助 大规模视觉语 言预训练模型的先验知识(预先设 定好的候选类别对应的文本特征)， 并结合大规 模视觉语言预训练模型超大范围的感知能力， 提 高了最终物体感知结果(也即候选对象所属的目 标类别)的准确度。 权利要求书2页 说明书10页 附图5页 CN 115471707 A 2022.12.13 CN 115471707 A 1.一种物体感知方法， 其特 征在于， 该 方法应用于电子设备， 该 方法包括： 将待检测图像输入到已训练好的目标物体感知模型， 以由所述目标物体感知模型从所 述待检测图像中划分出候选对象区域并输出候选对象区域对应的视觉特征， 所述视觉特征 为非文本特 征； 获得经由大规模视 觉语言预训练模型输出的各候选类别对应的文本特 征； 利用候选对象区域对应的视觉特征、 以及已获得的各候选类别对应的文本特征， 确定 所述候选对象区域中候选对象与每一 候选类别之间的置信度； 利用所述候选对象区域中候选对象与每一候选类别之间的置信度， 确定所述候选对象 所属的目标类别。 2.根据权利要求1所述的方法， 其特征在于， 所述利用候选对象区域对应的视觉特征、 以及已获得的各候选类别对应的文本特征， 确定所述候选对象区域中候选对象与每一候选 类别之间的置信度， 包括： 针对每一候选对象区域， 将该候选对象区域对应的视觉特征、 以及已获得的各候选类 别对应的文本特征输入至设定相似度函数， 得到该候选对象区域中候选对象与每一候选类 别之间的相似度； 依据该候选对象区域中候选对象与每一候选类别之间的相似度， 确定该候选对象区域 中候选对象与每一 候选类别之间的置信度。 3.根据权利要求2所述的方法， 其特 征在于， 所述设定相似度函数为： 余弦相似度函数； 所述将该候选对象区域对应的视觉特征、 以及已获得的各候选类别对应的文本特征输 入至设定相似度函数， 得到该候选对 象区域中候选对 象与每一候选类别 之间的相似度， 包 括： 依据如下余弦相似度函数确定该候选对象区域中候选对象与每一候选类别之间的相 似度： 其中， s表示候选对象区域中候选对象与每一候选类别之间的相似度； FT为文本特征向 量， N表示候选类别数量； d表示文本特征的维度； FI表示视觉特征， M表示候选对象的数量； d表示视觉特征的维度； ||FT||表示对矩阵FT的每一行分别进行归一 化； 表示FI的转置。 4.根据权利要求1所述的方法， 其特征在于， 所述目标物体感知模型通过如下步骤训练 得到： 将训练图像输入到当前物体感知模型中， 由所述当前物体感知模型从训练图像中划分 出训练对象区域并输出训练对象区域对应的视 觉特征， 所述视 觉特征为非文本特 征； 将训练图像对应的训练文本输入至大规模视觉语言预训练模型， 以由大规模视觉语言 预训练模型输出训练文本特征； 所述训练文本为用于描述训练图像中标定类别的语句， 所 述训练文本特 征为对应所述标定类别的文本特 征； 利用训练对象区域对应的视觉特征、 以及各标定类别对应的训练文本特征， 确定训练 对象区域中训练对象与每一标定类别之间的置信度；权　利　要　求　书 1/2 页 2 CN 115471707 A 2将训练对象与每一标定类别之间的置信度， 以及所述训练对象的标定类别输入至所述 当前物体感知模型对应的损失函数， 得到类别损失值； 依据所述类别损失值， 确定当前物体感知模型是否满足设定训练完成要求， 如果是， 确 定当前物体感知模型为所述 目标物体感知模型， 如果否， 调整当前物体感知模型对应的模 型参数， 将调整后的当前物体感知模型更新为当前物体感知模型， 返回至将训练图像输入 到当前物体感知模型中的步骤。 5.根据权利要求4所述的方法， 其特征在于， 所述训练文本具有的文本结构， 与所述大 规模视觉语言预训练模型训练时采用的训练文本的结构相同。 6.根据权利要求4所述的方法， 其特征在于， 所述依据所述类别损 失值， 确定当前物体 感知模型 是否满足设定训练完成要求， 包括： 获得特征损失值； 所述特征损失值是将所述当前物体感知模型输出的第 一训练对象区 域对应的视觉特征、 以及所述大规模视觉语言预训练模型输出的第二训练对象区域对应的 视觉特征输入至设定损失函数得到的； 所述第一训练对象区域和所述第二训练对象区域包 含同一训练对象； 若所述类别损失值和所述特征损失值分别满足对应的损失要求， 则确定当前物体感知 模型满足设定训练完成要求， 否则， 确定当前物体感知模型不满足设定训练完成要求。 7.根据权利要求1所述的方法， 其特征在于， 所述目标物体感知模型为用于对象检测的 物体检测模型， 或者 为用于对象分割的实例分割模型。 8.一种物体感知装置， 其特 征在于， 该装置包括： 视觉特征提取模块， 用于将待检测图像输入到已训练好的目标物体感知模型， 以由所 述目标物体感知模型从所述待检测图像中划分出候选对 象区域并输出候选对 象区域对应 的视觉特征， 所述视 觉特征为非文本特 征； 文本特征获取模块， 用于获得经由大规模视觉语言预训练模型输出的各候选类别对应 的文本特 征； 第一置信度确定模块， 用于利用候选对象区域对应的视觉特征、 以及已获得的各候选 类别对应的文本特 征， 确定所述 候选对象区域中候选对象与每一 候选类别之间的置信度； 类别确定模块， 用于利用所述候选对象区域中候选对象与每一候选类别之间的置信 度， 确定所述 候选对象所属的目标类别。 9.根据权利要求8所述的装置， 其特 征在于， 所述第一置信度确定模块具体用于： 针对每一候选对象区域， 将该候选对象区域对应的视觉特征、 以及已获得的各候选类 别对应的文本特征输入至设定相似度函数， 得到该候选对象区域中候选对象与每一候选类 别之间的相似度； 依据该候选对象区域中候选对象与每一候选类别之间的相似度， 确定该候选对象区域 中候选对象与每一 候选类别之间的置信度。 10.一种电子设备， 其特 征在于， 电子设备包括机器可读存 储介质、 处 理器； 所述机器可读存 储介质存 储有能够被处 理器执行的机器可 执行指令； 所述处理器用于读取所述机器可执行指令， 以实现如权利要求1 ‑7任一项所述的物体 感知方法的步骤。权　利　要　求　书 2/2 页 3 CN 115471707 A 3