(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210781478.7 (22)申请日 2022.07.04 (71)申请人 北京航空航天大 学 地址 100191 北京市海淀区学院路37号 (72)发明人 罗晓燕　蔡开泉　司马翔怡 　 魏靖峰　张宇晨　鲁泽　 (51)Int.Cl. H04N 5/232(2006.01) H04N 5/235(2006.01) H04N 5/225(2006.01) H04M 1/72439(2021.01) (54)发明名称 一种便携式高辐射条件下高动态成像融合 系统 (57)摘要 本发明设计了一种便携式高辐射条件下高 动态成像融合系统， 其特点在于利用手机等移动 终端获取多曝光图像序列， 后 在单图像校准约束 下实现对图像进行高动态恢复， 同时实现多图像 间的高动态融合。 所述系统的基本过程包括： 系 统调控手机获取多曝光序列， 将获取到的8位低 动态图像， 经图像处理管道进行存储； 再分别输 入到去量化网络和像素曝光校准网络得到32位 图像， 将获得的32位低动态图像分别输入到线 性 化网络和像素曝光校准网络进行线性化， 获得线 性辐照度图像； 将线性辐照度图像 分别通过幻觉 网络和像素曝光校准网络以减小动态范围裁剪 造成的信息丢失； 最后， 得到的图像经过优化网 络进行优化得到所需的高动态图像并输出。 权利要求书1页 说明书4页 附图7页 CN 115297254 A 2022.11.04 CN 115297254 A 1.一种便携式高辐射条件下高动态成像融合系统， 其特征在于， 基于手机APP开发和 Camera2应用接口， 设计了一套便携的图像获取系统， 利用屏幕实时显示拍摄对象用于预 览， 同时得到后置摄像头的属性， 可对曝光次数、 曝光时间、 焦距 等多种属性进 行调节， 选择 单次或者多次拍照。 调节过程中， 实时将预览结果显示在屏幕上， 并监听按钮动作， 得到拍 照请求后停止预览 并进行拍摄， 利用得到的在相机拍照管道中执行单次拍照动作或连续取 景， 得到8位的低动态图像。 2.针对获取的低动态图像， 基于深度学习的原理， 通过一套神经网络对前面获得的低 动态图像进行处理， 其特征在于， 神经网络包括两个分支， 第一个分支为逆相机管道分支， 包括去量化、 线性化和幻觉化三个过程， 去量化过程将输入的8位低动态图像转化为32 位低 动态图像， 线性化过程通过预测逆CRF函数反转了相机的非线性映射过程， 幻觉化过程用于 防止动态范围剪裁造成的信息丢失， 从而恢复出高动态图像； 第二个分支为像素 曝光校准 网络， 利用像素曝光的原理对以上三个过程进行校准。 经过两个 分支的处理融合后， 再经过 优化网络， 即可获得高动态的图像。权　利　要　求　书 1/1 页 2 CN 115297254 A 2一种便携式高辐射条件下高动态成像融合系统 技术领域 [0001]本发明涉及图像处理技术领域， 提出了一种便携的图像获取方法和基于深度学习 的高动态范围图像处 理方法。 背景技术 [0002]随着科技不断发展， 人们对图像的质量要求愈加提高， 高动 态范围(HDR)显示技术 因此高速发展。 但是， 由于HDR的部分设备比较昂贵， 目前还未做到广泛使用， 但在未来HDR 显示设备会得到普及， 人们终将迎来绚丽多彩的HDR图像时代。 [0003]目前大多数研究都是利用计算机图像处理技术融合多张曝光的低动 态范围(LDR) 图像来获取HDR图像。 一般来说， 研究使用具有中等位置的图像作为参考图像， 而其他图像 则用于显示该参考图像的细节。 然而， 这种方式要求被拍摄的对象是静态的， 如果对象有运 动， 则融合的效果可能会有 “鬼影”； 另一方面， 由于这种高动态成像的获取方式是多输入单 输出的， 对于单张低动态范围的图像则不能处理。 因此， 如 何设计一个单张LDR生成  HDR图 片的方法， 是一个非常值得研究的问题。 [0004]最近， 随着深度学习技术 的发展， 一些研究人员在LDR图像转换为HDR图像过程中 获得了具有更好性能的新算法。 Yuzhen Niu等人提出了一种基于生成性对抗网络(GAN)的 新模型， 称为  HDRGAN， 可用于重新生成融合HDR图像的丢失细节、 消除重建图像的伪影。 Seungjun Shin等人应用卷积神经网络(CNN)， 其包括 GoogleNet、 ResNet 50和VGG16， 根据亮 源和非亮源的分类来检测亮区并增加其亮度， 以获得HDR图像。 人工神经网络(ANN)  是人脑 的抽象模 型。 由于人脑的复杂性， 很难建立精确的数学模型来描述大脑的运作。 像素曝光校 准网络可能会显示出不同的结果， 因为 不同网络的激活功能和 神经细胞的数量 不同。 [0005]综上所述， 现有研究尚没有便携可靠的获取HDR图像的方法。 本发明提出一种便携 的图像获取 方法和基于深度学习的高动态范围图像处 理方法。 发明内容 [0006]本发明的目的在于解决高辐射条件下便捷地 生成单图像HDR  图像的问题。 [0007]为了实现上述目的， 本发明提供了一种提供了一种在高辐射条件下的基于深度学 习的像素曝光和反转相机管道进 行单图像HDR成像系统， 并将该系统整合为软件， 软件设置 了用户UI界面， 用户可在  UI界面上调节曝光次数及时长， 焦距 等参数实现在手机等 终端上 调控手机摄像头并经过系统图像处理得到的高动态范围图像。 而 该系统主要分为图像获取 和图像处 理两个部分。 [0008]图像获取部分包括了四个 个步骤： [0009]步骤1， 利用屏 幕实时显示拍摄对象用于预览， 通过系统服务的初始化来拿到相机 管理器用于管理摄像头 设备， 同时得到后置摄像头的属性,通过调用打开摄像头， 系统调用 回调函数中的打开相机方法来获取相机设备对象。 [0010]步骤2， 利用得到的代表后置摄像头的相机设备一方面来建立预览， 设置预览参数说　明　书 1/4 页 3 CN 115297254 A 3