(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210525932.2 (22)申请日 2022.05.16 (71)申请人 北京理工大 学 地址 100081 北京市海淀区中关村南大街5 号 (72)发明人 付莹　邹云昊　 (74)专利代理 机构 北京正阳理工知识产权代理 事务所(普通 合伙) 11639 专利代理师 张利萍 (51)Int.Cl. G06T 5/00(2006.01) G06T 7/80(2017.01) G06V 10/30(2022.01) G06V 10/44(2022.01) G06V 10/82(2022.01)G06N 3/08(2006.01) G06N 3/04(2006.01) (54)发明名称 一种基于对比学习的细粒度噪声估计方法 和系统 (57)摘要 本发明涉及一种基于对比学习的细粒度噪 声估计方法和系统， 属于计算摄像科学技术领 域。 本发明利用待测试的带噪图像中发掘相机本 身的噪声属性和参数， 对其建模并生成大量拟真 的仿真成对 数据集， 再利用深度神经网络学习仿 真带噪图像到干净图像 之间的映射关系， 并用训 练好的网络对真实数码相机拍摄的带噪图像进 行去噪处理， 实现对真实图像质量的提升和增 强。 本发明能够仅从待测试的带噪图像估计适用 于特定相机的噪声参数， 避免了噪声建模对于成 对数据和标定数据的依赖性， 显著提升真实图像 去噪的精度。 本发明可以用于对消费级数码相机 或移动设备拍摄出来的真实图像噪声去除， 以提 供更加真实的训练数据的方式促进深度网络对 真实噪声的去除。 权利要求书3页 说明书6页 附图2页 CN 114972085 A 2022.08.30 CN 114972085 A 1.一种基于对比学习的细粒度噪声估计方法， 其特 征在于， 包括以下步骤： 步骤101： 根据传感器的物理成像流程， 细粒度地对物理噪声分量进行建模， 通过分析 物理成像过程中包含光的量子效应、 暗电流、 源极跟随器噪声、 扫描模式在内的各流程， 建 模总噪声N的各个组成分量 Ni： 其中， L为主要噪声分量的个数； 对每个噪声分量 Ni， 构建其符合的统计概 率分布模型： Ni～Fi( θi)                          (2) 其中， Fi和 θi分别表示分量 Ni服从的分布 表示以及对应的参数； 所有噪声分量的分布参数组成多元组θ ＝( θ1, θ2,…, θL)； 步骤102： 训练基于对比学习的深度神经网络学习细粒度噪声参数估计模型， 用于估计 单张带噪图像在 细粒度噪声模型假设下的噪声参数； 通过拍摄拍 与光有关的一系列平场帧和黑暗环境下的一系列偏置帧， 对所述噪声参数 多元组θ进行标定， 包括： 对相机进 行参数标定， 根据式3所示的采样方式对噪声参数进 行采 样； 在干净的数据集上生成带噪图像， 作为基于对比学习的噪声估计网络的训练数据； 步骤103： 利用步骤102中训练好的基于对比学习的细粒度噪声估计网络模型， 对待测 带噪图像进行噪声估计和联合 概率分布构建， 并用于生成连续 ISO段的成对数据集； 步骤104： 以步骤103中生成的成对拟真数据集为输入， 训练深度去噪网络， 用于对真实 带噪测试图像的去噪； 通过搭建基于深度学习的去噪网络， 将生成的带噪图像作为输入， 将用于加噪的干净 图像作为真值， 对深度去噪网络进行训练， 并得到优化后的网络模型参数； 使用训练好的去噪网络对真实带噪的数据集进行降噪， 得到去噪后的预测干净图像。 2.如权利要求1所述的一种基于对比学习的细粒度噪声估计方法， 其特征在于， 步骤 101中， 使用各噪声分量随ISO的联合概率分布和采样策略， 实现连续ISO段上的噪声采样和 生成； 根据ISO的定义， 其与系统增益K之间存在线性关系， 则各噪声分量随IS O的联合概率分 布和采样策略， 使用各噪声分量随系统增益K的联合概率分布来代 替， 其在对数线性关系下 用高斯分布来表示： log(K)～U(l og(Kmin),log(Kmax)) 其中， U表示均匀分布， ai、 bi分别表示第i个噪声分量在对数线性域下读出噪声标准差 的均值和系统增益之间的斜率和均值， 表示与之对应的标准差， Kmin、 Kmax分别表示相机所 能取到的最小和最大ISO所对应的系统增益K； 表示高斯分布。 3.如权利要求2所述的一种基于对比学习的细粒度噪声估计方法， 其特征在于， 步骤 101中， 当目标传感器为数码相机时， 噪声分量包括与信号相关的散粒噪声Ns、 与信号无关 的读出噪声Nread、 偏色噪声 μc和随机行噪声Nrow； 受光子接收的不稳定性影响， 散粒噪声Ns用泊松分布 表示：权　利　要　求　书 1/3 页 2 CN 114972085 A 2式4中， I表示 光子的理论数值， 表示泊松分布； 读出噪声Nread和偏色噪声 μc用非零均值的高斯分布来近似建模： 其中， σ 表示读出噪声的标准差 差， 表示高斯分布； 随机行噪声Nrow用零均值的高斯分布来建模： 其中， σr表示随机行噪声的标准差； 用K表示系统总增益， 则数码相机的噪声总量 N表示为： N＝KNs+Nread+Nrow                    (7) 数码相机噪声分布参数构成多元组θ ＝(K, σ, μc, σr)。 4.如权利要求2所述的一种基于对比学习的细粒度噪声估计方法， 其特征在于， 步骤 102中， 基于对比学习的细粒度噪声估计网络模型， 包括数据集增强、 对比特征学习和噪声 估计， 其中： 数据集增强， 根据式3生成某一参考图像， 通过数据集增强来生成一个正样本和若干个 负样本； 其中， 对每张参考图像， 正样本由与参考图像相同的噪声参数和不同的干净图片生 成， 负样本由与参 考图像相同的噪声参数和不同的干净图片生成； 对比特征学习， 得到一个能够针对不同噪声提取出特异性特征的提取器f； 将参考图像 和正负样本输入特征提取器f并得到特征z、 z+以及z‑， 通过最小化InfoNCE损失来使网络增 大参考图与正样本之间的相似度并减小参考图和负样本之 间的相似度； 该对比学习损失函 数用 表示： 其中， s表示 余弦相似性， τ 为比例因子； 噪声估计， 在对比特征学习阶段得到的特征提取器f能够提取针对不同噪声的特异性 特征； 在此结构后， 使用卷积神经网络、 平均池化层和全连接层预测噪声参数四元组 用于 训练网络的损失函数 包括： 预测噪声参数 和真实噪声参数P之间的L2损失， 以及对特征 选择器的对比学习损失 表示为： 其中， M为总的训练样本数量； θj和 分别表示第j个场景下的真实和预测噪声参数； τ为 损失函数的权 重。 5.如权利要求4所述的一种基于对比学习的细粒度噪声估计方法， 其特征在于， 损失函 数的权重 τ 设置为0.1。 6.如权利要求1所述的一种基于对比学习的细粒度噪声估计方法， 其特征在于， 步骤 104中， 输入带噪图像x并得到预测的干净图像 权　利　要　求　书 2/3 页 3 CN 114972085 A 3