(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210150629.9 (22)申请日 2022.02.14 (71)申请人 中国科学院空天信息创新研究院 地址 100190 北京市海淀区北四环西路19 号 (72)发明人 马亚朋　刘雨菡　潘宗序　胡玉新　 韩冰　 (74)专利代理 机构 北京理工大 学专利中心 11120 专利代理师 温子云　李爱英 (51)Int.Cl. G06V 20/00(2022.01) G06V 10/26(2022.01) G06V 10/44(2022.01) G06K 9/62(2022.01) (54)发明名称 基于空时张量的红外场景时敏弱小目标检 测方法及装置 (57)摘要 本发明公开了一种基于空时张量的红外场 景时敏弱小目标检测方法及装置， 能够解决复杂 且不满足低秩假设的场景中的时敏红外弱小目 标检测问题的技术问题。 该方法包括： 构建用于 求解红外图像的低秩背景成分信息与稀疏目标 成分信息的第一问题模型； 基于红外图像的角点 信息及边缘信息， 确定红外图像的先验权重， 将 所述第一问题模 型转换为第二问题模 型； 采用时 空局部取样的方式构建低秩稀 疏矩阵， 得到所述 原始红外图像对应于第二问题模 型的张量； 将待 处理的红外图像的张量代入所述第二问题模型， 分离出待处理的红外图像的低秩矩 阵信息代表 的背景成分与稀 疏成分信息代表的目标成分； 将 所述目标成分作为目标图像， 将所述目标图像进 行处理， 得到检测结果。 权利要求书4页 说明书11页 附图4页 CN 114782789 A 2022.07.22 CN 114782789 A 1.一种基于空时张量的红外场景时敏弱小目标检测方法， 所述时敏弱小目标， 其中弱 小目标是指像素在2x2到9x9范围内的目标， 或像素面积不超过图像的0.15％的目标， 时敏 目标是指目标状态是变化的， 其特 征在于， 所述方法包括以下步骤： 步骤S1： 构建红外图像模型， 所述红外图像模型用于表征红外图像的背景和目标； 基于 所述红外图像模型， 构建用于求解红外图像的低秩背 景成分信息与稀疏目标成分信息的问 题模型， 记为第一问题模型； 步骤S2： 基于红外图像的角点信息及边缘信息， 为所述角点信息和所述边缘信息赋予 不同的权重， 确定红外图像的先验权重； 基于所述先验权重进 行先验权重信息提取， 将所述 第一问题模型转换为第二问题模型； 步骤S3： 获取待处理的红外图像序列， 对所述待处理的红外图像序列的每一个红外图 像： 将该红外图像作为原始红外图像， 基于所述原始红外图像和对所述原始红外图像赋予 不同权重后的显著性图像采用时空局部取样的方式得到所述原始红外图像对应于第二问 题模型的张量； 步骤S4： 对所述待处理的红外图像序列的每一个红外图像： 将所述待处理的红外图像 的张量代入所述第二问题模型， 并对所述第二问题模型进行优化求解， 分离出待处理的红 外图像的低秩矩阵信息代 表的背景成分与稀疏成分信息代 表的目标成分； 步骤S5： 将所述目标成分作为目标图像， 将所述目标图像进行处 理， 得到检测结果。 2.如权利要求1所述的方法， 其特 征在于， 所述红外图像模型为 D＝B+T+N(公式1) 其中， D、 B、 T、 分别代表输入的图像张量、 背景张量、 目标张量和噪声张量， m 为第一维度大小， n 为第二维度大小， k 为第三维度大小， R为实数集； 基于所述红外图像模型， 构建用于求解红外图像的低秩背景成分信 息与稀疏目标成分 信息的问题模型， 记为第一问题模型， 所述第一问题模型为： 其中， rank为张量的秩， 即非零 奇异值的个 数， λ为惩罚因子， 是一个正数， ||T||0为目标 的L0范数。 3.如权利要求2所述的方法， 其特 征在于： 局部先验权 重WP(x,y)为： 其中， a为角点指示器的权重， b为边缘指示器的权重， (x,y)为图像中像素的坐标， C为 角点指示器， E为 边缘指示器； 归一化后的局部先验权 重为 其中， wmin、 wmax代表全部局部先验权 重WP(x,y)中的最小值、 最大值； 加权W为： W＝Wsw*Wrec     (公式8)权　利　要　求　书 1/4 页 2 CN 114782789 A 2其中， Wrec是归一化后的局部先验权重相 应元素的倒数， c是一个非负的 常数， ε是小于预设阈值的正数， T表示第k次分解的目标分量； 则所述第二问题模型为： 其中， 代表哈德玛积， ||B||LPTNN为基于拉普拉斯算子的背景秩的近似替代， λ为惩罚 因子， 为目标图像与加权W的哈德玛积。 4.如权利要求3所述的方法， 其特征在于， 所述步骤S3， 其中， 所述基于所述原始红外图 像和对所述原始红外图像赋予不同权重后的显著性图像采用时空局部取样的方式得到所 述原始红外图像对应于第二问题模型的张量， 包括： 将所述原始红外图像确定为当前帧， 获取所述待处理的红外图像序列中紧临所述当前 帧前面的n个帧、 以及紧临所述当前帧的后面n个 帧作为相邻帧； 若所述当前帧的前面的帧 数不足n， 则为当前帧取当前帧后边的n 帧作为相邻帧； 若当前帧的后面的帧数不足n， 则为 当前帧取当前帧前边的n帧作为相邻帧； 在当前帧中将整幅的原始红外图像作为滑块滑动区域， 设置滑块以获取滑块 区域的块 图像， 所述滑块具有固定尺寸及滑动步长， 滑块尺寸为m*n， 滑动步长为d， 滑动方式为从所 述原始红外图像左上角滑动到右下角； 对于滑块在 当前帧的整个原始红外图像滑动过程中的每个滑动位置： 获取滑块在 当前 帧的整个原始红外图像的位置， 确定滑块位置的周围的邻域， 在邻域中确定距离该滑块的 中心点q个滑块尺寸的点pointpos,num， 以点pointpos,num为中心点， 获取与滑块尺寸一致、 各边 方向一致的滑块bloc kpos,num； 在相邻帧中与blockpos,num对应的位置， 获取各个相邻帧的滑块 blockimage,pos,num； 其中， 1≤pos≤POSITION， POSITION为滑块位置数， 1≤num≤NUM， NUM为滑 动位置pos对应的滑块数， 1≤ima ge≤NUM1， NUM1为相邻帧的帧数； 对于相邻帧的每一帧： 将滑块blockimage,pos,num按照从左至右、 从上至下的顺序进行排 列， 形成该帧的块图像； 获取当前帧与块图像相对应的位置信息， 形成当前帧的块图像； 获取当前帧及各相邻帧对应的块图像， 将块图像按照其对应的帧的时间顺序排列， 构 成张量D。 5.一种基于空时张量的红外场景时敏弱小目标检测装置， 所述时敏弱小目标， 其中弱 小目标是指像素在2x2到9x9范围内的目标， 或像素面积不超过图像的0.15％的目标， 时敏 目标是指目标状态是变化的， 其特 征在于， 所述装置包括： 第一模型构建模块： 配置为构建红外 图像模型， 所述红外 图像模型用于表征红外 图像 的背景和目标； 基于所述红外图像模型， 构建用于求解红外图像的低秩背景成分信息与稀 疏目标成分信息的问题模型， 记为第一问题模型； 第二模型构建模块： 配置为基于红外 图像的角点信息及边缘信息， 为所述角点信息和 所述边缘信息赋予不同的权重， 确定红外图像的先验权重； 基于所述先验权重进行先验权 重信息提取， 将所述第一问题模型转换为第二问题模型； 张量获取模块： 配置为获取待处理的红外 图像序列， 对所述待处理的红外 图像序列的 每一个红外图像： 将该红外图像作为原始红外图像， 基于所述原始红外图像和对所述原始权　利　要　求　书 2/4 页 3 CN 114782789 A 3