(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210579586.6 (22)申请日 2022.05.25 (71)申请人 之江实验室 地址 310023 浙江省杭州市余杭区文一西 路1818号人工智能小镇10号楼 申请人 中国科学院自动化研究所 (72)发明人 马志豪　袁梦轲　孟维亮　郭建伟　 毛瑞琛　徐士彪　张晓鹏　 (74)专利代理 机构 杭州求是专利事务所有限公 司 33200 专利代理师 邱启旺 (51)Int.Cl. G06V 10/44(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01)G06V 10/774(2022.01) G06V 10/82(2022.01) (54)发明名称 一种基于三条带注意机制的特征图加权方 法和装置 (57)摘要 本发明涉及计算机视觉和人工智能领域， 具 体涉及一种基于三条带注意机制的特征图加权 方法和装置， 旨在提高深度学习网络特征提取的 有效性。 本发明提出了一种新的注意力加权机 制， 它通过加权操作增加特征图的表现力， 关注 重要特征而抑制非重要特征。 首先， 采取全局池 化操作将原始特征图分离成列条带、 行条带和通 道条带； 其次， 对每个条带都采取压缩和扩张的 一系列加权操作； 然后， 将所有的加权后的三个 条带分别扩充到原始的特征图尺 寸大小， 并将这 三个加权后的特征图进行相加， 随后进行非线性 处理。 最后， 将所得到的加权特征图和原特征图 相乘， 并将结果作为后续的输入。 本发明提出的 基于三条带注意机制的特征图加权方法提高了 特征图的有效性。 权利要求书2页 说明书5页 附图4页 CN 114863131 A 2022.08.05 CN 114863131 A 1.一种基于三条 带注意机制的特 征图加权方法， 其特 征在于， 包括以下步骤： (1)将原始特征图分离成列条 带、 行条带和通道条 带； (2)对列条带、 行条带和通道条带均采取压缩、 标准化处理、 非线性激活、 扩张处理和标 准化处理， 得到对应的加权后的列条 带、 加权后的行 条带和加权后的通道条 带； (3)将加权后的列条带、 加权后的行条带和加权后的通道条带的维度均扩充到原始特 征图的尺寸大小， 得到扩充后的列特征图、 扩充后的行特征图和扩充后的通道特征图； 随后 将三个扩充后的特 征图进行相加， 并对相加结果进行非线性处 理得到加权特 征图； (4)将加权特征图与原始特征图进行相乘， 并将相乘结果与原始特征图进行相加， 得到 输入特征图， 并将输入特 征图作为后续的输入。 2.根据权利要求1所述的一种基于三条带注意机制的特征图加权方法， 其特征在于， 所 述步骤(1)包括以下子步骤： (1.1)对原始特征图F的行维度和 通道维度进行平均池化操作， 得到列条带THF； 所述原 始特征图F的维度 为RC×H×W， 其中， C为通道维度， H为列维度， W为行维度； 所述列条带THF的维 度为R1×H×1； (1.2)对原始特征图F的列维度和 通道维度进行平均池化操作， 得到行条带TWF； 所述行 条带TWF的维度为R1×1×W； (1.3)对原始特征图F的行维度和列维度进行平均池化操作， 得到通道条带TCF； 所述通 道条带TCF的维度为RC×1×1。 3.根据权利要求1所述的一种基于三条带注意机制的特征图加权方法， 其特征在于， 所 述步骤(2)包括以下子步骤： (2.1)使用多层感知机对列条带、 行条带、 通道条带的元素均进行压缩处理， 将列条带、 行条带或通道条 带的隐藏层的尺寸缩 减r倍； (2.2)使用批量标准化处理对压缩处理后的元素进行标准化处理， 并使用ReLU激活函 数对标准 化后的元 素进行非线性激活； (2.3)使用多层感知机对非线性激活后的元素进行扩张处理， 将列条带、 行条带或通道 条带的隐藏层的尺寸扩张r倍； (2.4)使用批量标准化处理对扩张处理后的元素进行标准化处理， 得到加权后的列条 带T′HF、 加权后的行 条带T′WF、 加权后的通道条 带T′CF。 4.根据权利要求1所述的一种基于三条带注意机制的特征图加权方法， 其特征在于， 所 述步骤(3)包括以下子步骤： (3.1)将加权后的列条带T ′HF的行维度乘上W， 同时将 T′HF的通道维度乘上C， 得到扩充后 的列特征图T″HF； 将加权后的行条带T ′WF的列维度乘上H， 同时将T ′WF的通道维度乘上C， 得到扩充后的行 特征图T″WF； 将加权后的通道条带T ′CF的行维度乘上W， 同时将T ′CF的列维度乘上H， 得到扩充后的通 道特征图T″CF； 所述扩充后的列特征图T ″HF的维度为RC×H×W， 所述扩充后的行特征图T ″WF的维度为RC ×H×W， 所述扩充后的通道特 征图T″CF的维度为RC×H×W； (3.2)将扩充后的列特征图T ″HF、 扩充后的行特征图T ″WF和扩充后的通道特征图T ″CF进权　利　要　求　书 1/2 页 2 CN 114863131 A 2行相加， 并对相加结果进行sigmoid非线性化处理， 得到TSAM特征图TF， 即TF＝σ(T″HF+T″WF+ T″CF),其中σ 表示sigmo id非线性 化处理。 5.根据权利要求1所述的一种基于三条带注意机制的特征图加权方法， 其特征在于， 所 述步骤(4)具体为： 将加权特征图TF和原始特征图F进行相乘并将相乘结果与原始特征图F 进行相加， 得到输入特征图F ′， 即F′＝F+F×TF， 其中×表示元素的相乘； 将输入特征图F ′作 为后续的输入。 6.一种基于三条带注意机制的特征图加权装置， 其特征在于， 包括一个或多个处理器， 用于实现权利要求1 ‑5中任一项所述的基于三条 带注意机制的特 征图加权方法。 7.一种计算机可读存储介质， 其上存储有程序， 其特征在于， 该程序被处理器执行时， 用于实现权利要求1 ‑5中任一项所述的基于三条 带注意机制的特 征图加权方法。权　利　要　求　书 2/2 页 3 CN 114863131 A 3