(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210174115.7 (22)申请日 2022.02.24 (71)申请人 四川大学 地址 610065 四川省成 都市武侯区一环路 南一段24号 (72)发明人 高绍兵　梁宸　 (74)专利代理 机构 成都虹盛汇泉专利代理有限 公司 51268 专利代理师 陈婷 (51)Int.Cl. G06V 20/00(2022.01) G06V 10/26(2022.01) G06V 10/44(2022.01) G06V 10/764(2022.01) G06V 10/82(2022.01)G06K 9/62(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 基于上下文信息感知机理的夜间和伪装目 标检测方法 (57)摘要 本发明公开了一种基于上下文信息感知机 理的夜间和伪装目标检测方法， 包括以下步骤： S1、 使用基础神经网络对输入图像进行特征提 取， 获得输入 图像的特征图Y； 输入N个初始提议 框， 然后使用感兴趣区域特征提取器得到感兴趣 区域特征图R； S2、 建模图像的全局与局部上下文 信息； S3、 建模图像的全局语义上下文， 对得到的 特征图Y进行卷积与上采样， 输出语义分割图S； S4、 使用数据集提供的图像与标注信息来训练人 工神经网络直到收敛， 然后输入待检测图像得到 最终检测结果。 本发明能有效地执行夜 间目标检 测和伪装目标检测的方法， 为后续各类夜间和伪 装目标场景下的计算机应用提供场景中感兴趣 目标的精确位置与类别。 权利要求书2页 说明书6页 附图7页 CN 114549958 A 2022.05.27 CN 114549958 A 1.基于上 下文信息感知机理的夜间和伪装目标检测方法， 其特 征在于， 包括以下步骤： S1、 使用神经网络对输入图像进行特征提取， 获得输入图像的特征图Y； 输入N个初始提 议框， 然后使用感兴趣区域特 征提取器得到感兴趣区域特 征图R； S2、 建模图像的全局与局部上下文信 息： 对得到的特征图Y使用全局上下文编码模块处 理得到全局上下文特征G； 使用上下文特征融合模块处理R与G得到融合上下文特征C； 通过 动态特征 交互模块将融合上下文 特征C与感兴趣区域特征R融合， 然后进 行边框回归与分类 预测； S3、 建模图像的全局语义上下文， 对得到的特征图Y进行卷积与上采样， 输出语义分割 图S； S4、 使用网络上的公开数据集ExDark、 COD10K提供的图像与标注信息来训练根据S1 ‑S3 步骤构建出来的人工神经网络直到收敛， 然后输入待检测图像得到最终检测结果。 2.根据权利要求1所述的基于上下文信息感知机理的夜间和伪装目标检测方法， 其特 征在于， 所述 步骤S1具体实现方法为： Y＝B(X)                                (1) R＝RoIAlign(Y， P)                              (2) 其中， B代表神经网络架构， B可以使用任意的卷积神经网络来实现， 只要该网络具有足 够的表现力来提取输入图像 的特征即可； X表示输入图像； RoIAlign()代表利用提议框对 特征图Y进行对齐操作； P代表输入的N个长度为4的初始提议框向量， 其中每个 向量中的元 素取值范围为[0， 1]的所有实数。 3.根据权利要求1所述的基于上下文信息感知机理的夜间和伪装目标检测方法， 其特 征在于， 所述 步骤S2具体实现方法为： RE＝Conv(R， F(C， W1， B1)， 0)                         (3) REG＝F(D， W3， B3)                              (5) CLS＝F(D， W4， B4)                              (6) 其中， F(x， w， b)代表分别以x为输入， w， b为参数的线性加权求和； Conv(x， w， b)代表卷 积函数； FFN(  )代表前馈神经网络； 符号 表示逐元素相加操作； σ(x)代表修正线性单元激 活函数， 其公式为： REG和CLS分别代表输出的边框回归与类别预测值； Wm、 Bm代表神经网络的固有可 学习参数， m＝1, …,4； 图像的全局与局部上 下文特征向量C由下面的公式计算得到： C＝Attention(GL， GL， GL)                            (6) 其中， GL代表融合后同时携带全局和局部特征的特征向量； G和L分别代表图像的全局 特征向量和图像的局部特 征向量； A ttention(GL， GL， GL)函数表示自注意力函数； 全局特征向量G由下面的公式计算得到： G＝ δ(F( δ(F(E， W3， B3))， W4， 4))                     (7)权　利　要　求　书 1/2 页 2 CN 114549958 A 2δ(x)代表泄露修正线性单元激活函数， 其公式为： 其中a的取值范 围为(0， +∞)； Wi， Bi代表神经网络的固有可学习参数； 图像的全局特征E由下面的公式计算 得到： E＝ δ(Avg(Co nv(Y， W5， B5)))                        (8) Avg(x)代表全局平均池化函数； δ(x)代表泄露修正线性单元激活函数， 其公式为： W5， B5代表神经网络的固有可 学习参数； 局部特征向量L由下面的公式计算得到： L＝σ(F(R， W6， B6))                          (9) σ(x)代表修正线性单元激活函数， 其公式为： W6， B6代表神经网络的 固有可学习参数。 4.根据权利要求1所述的基于上下文信息感知机理的夜间和伪装目标检测方法， 其特 征在于， 所述 步骤S3具体实现方法为： S＝Softmax(Decoder(Co ncat(Y， AS PP(Y))))           (10) Decoder(x)＝UP(Co nv(UP(Co nv(x， W7， B7))， W8， B8))          (11) Softmax(x)代表柔性最大值传输函数； Decoder(x)代表解码器， 其 由多个相同的上采 样层和卷积层组成； Concat(A， B)代表将A与B根据通道维度进行串联的连接操作； UP(x)代 表双线性插值上采样函数； Conv(x， w， b)代表以w,b 为可学习参数的卷积函数； ASPP为空洞 金字塔池化操作。 5.根据权利要求4所述的基于上下文信息感知机理的夜间和伪装目标检测方法， 其特 征在于， 所述 步骤S4具体实现方法为： Lt＝ λd*Ld+λs*Ls                      (12) Lt代表神经网络的训练损失函数； Ld和Ls分别代表 目标检测损失函数和语义分割损失 函数； λd和 λs分别代表目标检测损失函数和语义分割损失函数的系数； 目标检测损失函数Ld由下面的公式计算得到 Ld＝ λcls*Lcls+λreg*Lreg+λgiou*Lgiou               (13) Lcls代表焦点损失函数； Lreg代表最小绝对 值误差损失函数； Lgiou代表广义交并比损失函 数； λcls、 λreg和 λgiou分别代表各损失函数的系数； 语义分割损失函数Ls由下面的公式计算得到： Ls＝‑(S*logS+(1‑S*)*log(1‑S)             (14) S*代表监督信号， 由数据集 提供。权　利　要　求　书 2/2 页 3 CN 114549958 A 3