(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210385355.1 (22)申请日 2022.04.13 (71)申请人 同济大学 地址 200092 上海市杨 浦区四平路1239号 (72)发明人 陈启军　党荣浩　刘成菊　 (74)专利代理 机构 上海科盛知识产权代理有限 公司 312 25 专利代理师 杨宏泰 (51)Int.Cl. G01C 21/20(2006.01) G06V 10/44(2022.01) G06V 10/82(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 一种基于物体偏见修正与有向注意力图的 物体导航方法 (57)摘要 本发明涉及一种基于物体偏见修正与有向 注意力图的物体导航方法， 包括以下步骤： S1、 机 器人实时获取当前时刻的原始图像； S2、 提取视 觉输入的全局图像特征It和局部物体特征St； S3、 通过多头注意力分数生 成模块得到自适应物 体注意力图Gv； S4、 得到当前时刻的物体注意力 权重Gt； S5、 得到物体支路最终编码 S6、 通过 多头注意力得到图像支路最终编码 S7、 对图 像、 物体和过去动作三个支路进行聚合得到特征 表示Ht； S8、 预测动作执行概率； S9、 加强检测到 目标物体时输出停 止动作的概率； S10、 选择概率 最大的动作对场景进行探索。 与现有技术相比， 本发明具有解决注意力偏见问题、 加强信息融合 利用、 更好区分支路类型、 提高支路特征聚合合 理性等优点。 权利要求书3页 说明书8页 附图4页 CN 114910071 A 2022.08.16 CN 114910071 A 1.一种基于物体偏见修正与有向注意力图的物体导航方法， 其特征在于， 包括以下步 骤： S1、 在物体导 航过程中， 机器人实时获取当前时刻的原 始图像作为视 觉输入； S2、 通过ResNet18提取视觉输入的全局图像特征It， 并且通过Faster  RCNN提取视觉输 入的局部物体特 征St； S3、 以全局图像特征It作为查询， 局部物体特征St作为键值， 通过多头注意力分数生成 模块得到自适应物体注意力图Gv； S4、 将自适应物体注意力图Gv与固定的物体注意力图加 权相加得到当前时刻的物体注 意力权重Gt； S5、 利用物体注意力权 重Gt对局部物体特 征St进行加权得到物体支路最终编码 S6、 利用经过物体注意力权重加权后的物体语义表示D作为查询， 全局的图像信息作为 键值， 通过多头注意力得到图像支路最终编码 S7、 对图像、 物体和过去动作三个支路进行能量重新分配再聚合得到特 征表示Ht； S8、 利用LSTM循环神经网络和A3 C强化学习方法预测动作执 行概率； S9、 加强检测到目标物体时输出停止动作的概 率； S10、 机器人选择概 率最大的动作对场景进行探索。 2.根据权利要求1所述的一种基于物体偏见修正与有向注意力图的物体导航方法， 其 特征在于， 所述 的步骤S2中， 局部物体特征St由物体视觉特征 物体位置特征 物 体置信度 和目标物体指示 位 拼接而成。 3.根据权利要求1所述的一种基于物体偏见修正与有向注意力图的物体导航方法， 其 特征在于， 所述的步骤S3具体包括以下步骤： S31、 设定置信度阈值， 并通过置信度滤波将低于置信度阈值的物体特征置为0得到滤 波后的物体特 征 S32、 通过独热编码和两层全连接层得到物体索引编码特征OI， 对全局图像特征It进行 全局平均池化后与目标索引编码OIp拼接得到包 含目标物体信息的全局图像特 征 则有： 其中， M为特征图中的像 素数量， p 表示目标物体， OIp为物体索引编码特征OI中目标物 体 p的索引编码， Co ncat表示将两个向量 拼接成一个； S33、 以包含目标物体信息的全局图像特征 作为查询， 滤波后的物体特征 作为键， 利 用多头注意力分数生成器得到自适应物体注意力图Gv， 则有： 其中， NH和HD分别为多 头注意力分数生成器的头数和隐藏维度， 均为可学权　利　要　求　书 1/3 页 2 CN 114910071 A 2习的维度映射参数， 和 分别将包含目标物体信息的全局图像特征 和滤波后的局部 物体特征 映射到的同一维度HD， 将各个头计算出来的子图聚合为一个自适应的物体 注意力图Gv。 4.根据权利要求1所述的一种基于物体偏见修正与有向注意力图的物体导航方法， 其 特征在于， 所述的步骤S4具体为： 定义一个可学习且固定大小的矩阵 表示固定的物体注意力图， 根据寻找的物 体p， 从固定的物体注意力图中提取边权重 通过加权固定物体注意力图与自适应的物体 注意力图得到无偏见的物体注意力权 重Gt， 则有： 其中， ωn与ωv均为可学习的权 重。 5.根据权利要求1所述的一种基于物体偏见修正与有向注意力图的物体导航方法， 其 特征在于， 所述的步骤S5具体为： 为平衡计算量与信息完整 性使用两层带有ReLU非线 性的全连接层对局部物 体特征St进 行降维得到降维后的物体特征St′， 采用无偏见的物体注意力权重Gt对降维后的物体特征 St′中每个物体q的特 征进行加权得到物体支路最终编码 则有： 其中， N为物体总数， 为第q个物体的低维特 征， 为第q个物体的无偏注意力权 重。 6.根据权利要求5所述的一种基于物体偏见修正与有向注意力图的物体导航方法， 其 特征在于， 所述的步骤S6具体包括以下步骤： S61、 利用无偏物体注意力权重Gt对物体索引编码特征OI进性加权聚合， 得到加权后的 物体语义表示D， 则有： 其中， 表示指示函数， N为物体总数， OIq为物体索引编码特征OI中第q个物体的索引 编码， 置信度滤波 表示置信度小于一定阈值的物体的语义特 征被置为0； S62、 将一维的像素索引编码PI引入到全局图像特 征中， 则有： I′t＝ δ( δ(ItW1)W2)+PI 其中， I′t为拥有像素位置标识的全局图像特征， δ表示ReLU非线性激活函数， W1和W2为 可学习的维度映射 参数； S63、 利用加权后的物体语义表示D作为查询， 拥有像素位置标识的全局图像特征I ′t作 为键值， 通过多头注意力网络得到图像支路最终编码 7.根据权利要求1所述的一种基于物体偏见修正与有向注意力图的物体导航方法， 其 特征在于， 所述的步骤S7 具体为： 定义一个包含三个可学习参数的向量R＝{r1， r2， r3}， 将全局图像支路 局部物体支路权　利　要　求　书 2/3 页 3 CN 114910071 A 3