(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211107863.X (22)申请日 2022.09.13 (71)申请人 清华大学 地址 100084 北京市海淀区清华园 申请人 双自科技 （北京） 有限公司 (72)发明人 王文军　孙兆聪　刘思宇　奉嘉明　 王慷　 (74)专利代理 机构 北京高沃 律师事务所 1 1569 专利代理师 万慧华 (51)Int.Cl. H04N 5/232(2006.01) H04N 5/208(2006.01) (54)发明名称 一种基于权重掩膜的全景环视系统及全景 图像融合方法 (57)摘要 本发明涉及一种基于权重掩膜的全景环视 系及全景图像融合方法， 属于辅助驾驶领域。 系 统包括多个鱼眼摄像头、 角度传感器、 图像数据 采集器、 图像数据处理器和显示屏； 鱼眼摄像头 用于采集车外环境图像； 角度传感器用于采集车 间夹角数据； 图像数据采集器用于将收集到的车 外环境图像和车间夹角数据传输至图像数据处 理器； 图像数据处理器用于采用权重掩膜处理方 法对车外环 境图像和车间夹角数据进行处理， 生 成全景环视图像； 显示屏用于显示全景环视图 像。 本发明能够较好地将多个鱼眼摄像头的图像 融合， 视野范围大并且没有视野盲区， 保障车辆 的安全驾驶。 权利要求书2页 说明书8页 附图7页 CN 115412676 A 2022.11.29 CN 115412676 A 1.一种基于权重掩膜 的全景环视系统， 其特征在于， 包括： 多个鱼眼摄像头、 角度传感 器、 图像数据采集器、 图像数据处 理器和显示屏； 多个所述鱼眼摄像头和所述角度传感器均与所述图像数据采集器连接； 所述图像数据 采集器与所述图像数据处 理器连接； 所述图像数据处 理器与所述显示屏连接； 所述鱼眼摄像头用于采集车外环境图像； 所述角度传感器用于采集车间夹角数据； 所 述图像数据采集器用于将收集到的所述车外环境图像和所述车间夹角数据传输至所述图 像数据处理器； 所述图像数据处理器用于采用权重掩膜处理方法对所述车外环境图像和所 述车间夹角数据进行处 理， 生成全景环视图像； 所述显示屏用于 显示所述全景环视图像。 2.根据权利要求1所述的基于权重掩膜的全景环视系统， 其特征在于， 所述鱼眼摄像头 的视场角为190 °。 3.根据权利要求2所述的基于权重掩膜的全景环视系统， 其特征在于， 所述图像数据采 集器包括图像采集单 元与车间夹角数据采集单 元； 所述图像采集单元与 所述鱼眼摄像头连接； 所述图像采集单元用于收集所述车外环境 图像； 所述车间夹角数据采集单元与所述角度传感器连接； 所述车间夹角数据采集单元用于 收集所述车间夹角数据。 4.根据权利要求3所述的基于权重掩膜的全景环视系统， 其特征在于， 所述图像数据处 理器包括图像标定单元、 图像去畸变单元、 图像投影单元、 图像权重掩膜单元和图像融合单 元； 所述图像标定单元与 所述图像采集单元连接； 所述图像标定单元用于对所述车外环境 图像进行 标定， 得到所述车外环境图像与去畸变图像的映射关系； 所述图像去畸变单元与所述图像标定单元连接； 所述图像去畸变单元用于根据 所述映 射关系对所述车外环境图像进行去畸变处 理， 得到去畸变图像； 所述图像投影单元分别与 所述图像去畸变单元和所述车间夹角数据采集单元连接； 所 述图像投影单元用于根据所述车间夹角数据设置投影点的位置， 对所述去畸变图像进 行投 影， 得到投影图像； 所述图像权重掩膜单元与 所述图像投影单元连接； 所述图像权重掩膜单元用于对所述 投影图像进行掩膜处 理， 得到权重掩膜图像； 所述图像融合单元与 所述图像权重掩膜单元连接； 所述图像融合单元用于将多个所述 权重掩膜图像进行融合， 得到全景环视图像。 5.一种基于权重掩膜的全景图像 融合方法， 其特征在于， 所述方法应用于权利要求1 ‑4 任一项所述的基于权重掩膜的全景环视系统， 所述基于权重掩膜的全景图像融合方法包 括： 获取车外环境图像和车间夹角数据； 对所述车外环境图像进行标定， 得到所述车外环境图像与对应的标准位置的棋盘格图 像的映射关系； 根据所述映射关系对所述车外环境图像进行去畸变处 理， 得到去畸变图像； 根据所述车间夹角数据设置投影点的位置， 对所述去畸变图像进行投影， 得到投影图 像；权　利　要　求　书 1/2 页 2 CN 115412676 A 2对所述投影图像进行掩膜处 理， 得到权重掩膜图像； 将多个所述权 重掩膜图像进行融合， 得到全景环视图像。 6.根据权利要求5所述的基于权重掩膜的全景图像融合方法， 其特征在于， 所述对所述 投影图像进行掩膜处 理， 得到权重掩膜图像， 具体包括： 测量车的尺寸， 根据车的尺寸设计画 布尺寸， 确定感兴趣区的范围； 根据所述感兴趣区的范围确定缩放比例； 根据所述车间夹角数据确定所述投影图像中掩膜关键点的位置坐标； 所述掩膜关键点 包括定点、 旋转变换点、 投影边界点和铰接变换点； 根据所述掩膜关键点的位置坐标和所述缩放比例， 确定掩膜图像； 利用内置算法计算所述掩膜图像中各个 像素点的掩膜权 重值； 根据所述掩膜权 重值对所述掩膜图像进行处 理， 得到权重掩膜图像。 7.根据权利要求6所述的基于权重掩膜的全景图像融合方法， 其特征在于， 所述掩膜图 像包含掩膜区和非掩膜区； 所述 非掩膜区的权重为1， 所述掩膜区的权重根据像素点的权重 确定。权　利　要　求　书 2/2 页 3 CN 115412676 A 3