(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211324117.6 (22)申请日 2022.10.27 (71)申请人 北京航空航天大 学 地址 100191 北京市海淀区学院路37号 (72)发明人 赵磊　武嘉妮　陈佳豪　李波　 韦星星　 (74)专利代理 机构 北京慕达星云知识产权代理 事务所 (特殊普通合伙) 11465 专利代理师 符继超 (51)Int.Cl. G06T 11/00(2006.01) G06V 10/32(2022.01) G06V 10/774(2022.01) G06V 10/82(2022.01)G01J 5/48(2006.01) (54)发明名称 一种基于温度信息编码的可见光转红外图 像的生成方法 (57)摘要 本发明公开了一种基于温度信息编码的可 见光转红外图像的生成方法， 包括： 获取多对一 一配对的原始可见光图像和原始红外图像， 框选 图像中自发热目标， 进行预处理， 得到训练集； 利 用训练集对预先构建的考虑温度信息的生成模 型进行训练， 直至模型收敛； 在每轮训练过程中， 对原始红外图像集进行全局温度和自发热目标 温度进行编码， 得到当前图像对的温度分布； 将 待转可见光图像和从温度分布中采样的温度编 码输入训练好的生成模型， 得到不同温度状态下 的多张仿真红外图像。 本发明考虑目标和背景所 需温度不一致， 目标的温度会自发热， 背景相对 稳定， 根据可见光的内容结合 从温度分布中用采 样的不同的温度编码， 最后生 成具不同的温度状 态的红外图像 。 权利要求书2页 说明书7页 附图2页 CN 115439573 A 2022.12.06 CN 115439573 A 1.一种基于温度信息编码的可 见光转红外图像的生成方法， 其特 征在于， 包括： 获取多对一一配对的原始可见光图像和原始红外 图像， 统一图像尺寸， 并框选 图像中 自发热目标， 将框 选出的自发热目标重采样为与原 始图像尺寸 一致， 得到自发热目标图像； 将每对中的原始可见光图像及其自发热目标图像、 原始 红外图像及其自发热目标图像 组成样本组， 再将所有样本组 组成训练集； 利用训练集对预先构建的考虑温度信息的生成模型进行训练， 直至模型收敛； 考虑温 度信息的生成模型包含温度编码 器、 红外生成器和判别器； 在每轮训练过程中， 温度编 码器 对原始红外图像进行全局温度和自发热目标温度进行编 码， 并让所有 数据的温度编 码符合 来自正态分布采样， 得到当前配对图像的温度分布； 红外生成器结合原始可见光图像的内 容和从温度分布中采样的温度编码， 生成仿真红外图像； 判别器判断是仿真红外图像还是 真实的原 始红外图像， 以指导红外生成器的生成更真； 将待转可见光图像和从温度分布采样所得的不同温度编码输入训练好的红外生成器 中， 得到不同温度状态下的多张仿真红外图像。 2.根据权利要求1所述的一种基于温度信息编码的可见光转红外图像的生成方法， 其 特征在于， 训练集的组成过程包括： 获取可见光图像集 以及对应的红外图像集 ； 其中， 表示 可见光图像和红外图像的尺寸， 表示可见光图像和红外图像数量； “3”和“1”分别表示可 见光图像和红外图像的通道数量， 表示第 个可见光图像， 表示第 个红外图像； 框选可见光图像和红外图像中的自发热目标， 和 包含的目标集定义为 ， 表示 中的第 个目标； 表示待转化的可见光图像， 表示待 转换的可 见光图像数量； 将每个框选的自发热目标分别从可见光图像和红外图像中扣下来后， 重采样为与原始 图像尺寸一致， 得到可见光图像的自发热目标图像 ， 红外图像的自发热目标图 像 。 3.根据权利要求2所述的一种基于温度信息编码的可见光转红外图像的生成方法， 其 特征在于， 训练阶段， 温度编码器和红外生成器的前向传播公式如下： 其中， 表示红外生成器， 表示温度编码器； 表示 和 对应的全局温度编码， 表示 和 自发热目标温度编码； 假设 和 分别采样于独立服从多元正态分布 ， 表示 和 的自发热目标温度编码集； 表示生成的仿真红外图像， 表示 生成的仿真红外自发热目标图像， 表示生成的仿真红外图像的全局温度编码， 表示生权　利　要　求　书 1/2 页 2 CN 115439573 A 2成的仿真红外目标图像的温度编码。 4.根据权利要求3所述的一种基于温度信息编码的可见光转红外图像的生成方法， 其 特征在于， 考虑温度信息的生成模型的损失函数如下： 其中， 表示判别器， 、 、 和 损失使用的是 损失函数； 和 表示希望有 效的学到可见光图像转到红外图像的映射关系， 捕捉图像中的低频信息； 和 表示保证 真实红外图像的温度编 码和对应的仿真红外图像的编 码一致对齐， 保证红外生成器和温度 编码器同时起作用； 和 表示用判别器判断是真实红外图像/自发热目标图像， 还是生成 的仿真红外图像/ 自发热目标图像， 尽可能的指导生成的红外图像域与真实的红外图像域 接近； 表示如果是真实红外图像取1， 是仿真红外图像取0； 是 损失函数， 表示尽可 能让这些真实红外图像的温度编码 分布在正太分布中， 表示多元正态分布， 维度与 温度编码一 致， 表示平均值组， 表示方差组； 表示多元 标准正太分布。 5.根据权利要求1所述的一种基于温度信息编码的可见光转红外图像的生成方法， 其 特征在于， 将待转可见光图像和从温度分布采样所得的不同温度编 码输入训练好的红外生 成器中， 得到不同温度状态下的多张仿真红外图像， 包括： 从训练好的考虑温度信息的生成模型中取出红外生成器， 获取待转换的可见光图像 及与其对应的框 选出的自发热目标； 针对一张待转换的可见光图像 ， 从温度分布 中根据待转可见光图像 的内容采 样相应的全局温度编码 和自发热目标温度编码 ， 给 赋予不同的全局温度编码和自 发热目标温度编码； 温度编码是可以变化的， 具体是指将温度编码直接叠加到可见光图像 的通道方向， 全局背 景信息的每个像素添加一样的温度编 码， 它的维度成为新的通道， 同理 每个目标所有像素位置添加自己的温度编码； 将待转可将光图像和与其对应的全局温度编码和不同自发热目标的温度编码共同输 入红外生成器中， 输出不同温度状态下的多张仿真红外图像。 6.根据权利要求5所述的一种基于温度信息编码的可见光转红外图像的生成方法， 其 特征在于， 待转可 见光图像的转换公式如下： 上式中， 采样不同的温度编码给待转可见光图像的全局和目标， 输出不同温度状态下 的多张仿真红外图像。权　利　要　求　书 2/2 页 3 CN 115439573 A 3