(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211004232.5 (22)申请日 2022.08.22 (71)申请人 山东新一代信息产业 技术研究院有 限公司 地址 250100 山东省济南市高新区港兴三 路北段未来创业广场3号楼1 1-12层 (72)发明人 张平闯　国玉刚　 (74)专利代理 机构 济南信达专利事务所有限公 司 37100 专利代理师 潘悦梅 (51)Int.Cl. H04N 13/122(2018.01) H04N 5/232(2006.01) H04N 5/341(2011.01) H04W 4/024(2018.01) (54)发明名称 基于SOC的全景3D视频拼接系统及系统载体 (57)摘要 本发明公开了基于SOC的全景3D视频拼接系 统及系统载体， 属于自动驾驶视频拼接技术领 域， 要解决的技术问题为如何在兼顾远景和近景 的前提下， 提高环境图像拼接的效率和真实度。 包括： 图像采集模块， 用于采集系统载体的环境 图像， 得到至少一路环境图像， 并以图像流的方 式输出环境图像； 图像处理模块， 所述图像处理 模块中配置有SOC系统级芯片， 用于从图像采集 模块获取图像流， 并通过SOC系统级芯片对环境 图像进行环形拼接， 得到实时3D环境图像； 视频 处理模块， 用于获取3D环境图像， 并基于所述3D 环境图像形成环境视频； 数据传输模块， 用于输 出环境视频， 将所述环境图像发送至系统载体的 显示模块进行显示和/或 发送至远端服务器。 权利要求书2页 说明书4页 附图1页 CN 115460392 A 2022.12.09 CN 115460392 A 1.一种基于SOC的全景3D视频拼接系统， 其特 征在于， 包括： 图像采集模块， 所述图像采集模块用于采集系统载体的环境图像， 得到至少一路环境 图像， 并以图像流的方式输出环境图像； 图像处理模块， 所述图像处理模块中配置有SOC系统级芯片， 用于从图像采集模块获取 图像流， 并通过SOC系统级芯片对环境图像进行环形拼接， 得到实时3D环境图像； 视频处理模块， 所述视频处理模块与所述图像处理模块连接， 用于获取3D环境图像， 并 基于所述3D环境图像形成环境视频； 数据传输模块， 所述数据传输模块与所述视频处理模块交互， 用于输出环境视频， 将所 述环境图像发送至系统载体的显示模块进行显示和/或发送至远端服 务器。 2.根据权利要求1所述的基于SOC的全景3D视频拼接系 统， 其特征在于， 所述图像处理 模块还用于： 对环境图像进行分析， 得到系统载体的位置信息和运动信息； 基于环境图像以及系统载体的位置信息和运动信息， 生成至少一条导航路径， 并通过 数据传输模块输出所述至少一条导航路径， 将所述至少一条导航路径发送至系统载体的显 示模块进行显示和/或发送至远端服 务器。 3.根据权利要求2所述的基于SOC的全景3D视频拼接系 统， 其特征在于， 所述系 统还包 括路径选择模块： 对于每一条初始导 航路径， 所述数据传输模块用于从远端服 务器获取路况 数据； 所述路径选择模块用于基于路况数据对所述至少一条初始导航路径进行分析选择， 确 定一个初始导航路径作为最优导航路径， 并通过数据传输模块输出所述最优导航路径， 将 所述最优导航路径发送至系统载体的显示模块进行显示和/或发送至远端平台。 4.根据权利要求3所述的基于SOC的全景3D视频拼接系 统， 其特征在于， 所述路径选择 模块用于根据每条初始 导航路径的行驶距离以及路径拥堵情况， 确定系统载体的最优导航 路径。 5.根据权利要求1 ‑4任一项所述的基于SOC的全景3D视频拼接系 统， 其特征在于， 所述 图像采集模块包括多个图像采集子模块， 每个图像采集子模块均通过配置的摄像机拍摄系 统载体的环境图像， 并通过移动产业处 理器接口与所述图像处 理模块电连接 。 6.根据权利 要求5所述的基于SOC的全景3D视频拼接系统， 其特征在于， 所述SOC系统级 芯片包括： 可编程逻辑子模块， 所述可编 程逻辑子模块通过所述移动产业处理器接口与 所述多个 图像采集子模块连接， 用于获取环 境图像并对环境图像进 行环形拼接， 生 成3D环境图像， 用 于对环境图像进行分析， 得到运动载体的位置信息和 运动信息， 并用于基于环境图像以及 系统载体的运动信息和位置信息生成至少一条导 航路径； 可编程系统子模块， 所述可编 程系统子模块通过所述移动产业处理器接口与 所述多个 图像采集子模块连接， 用于调控每个图像采集子模块中摄像机的拍摄参数， 并用于通过握 手连接协议实现每 个图像采集子模块的同步采集。 7.根据权利要求1所述的基于SOC的全景3D视频拼接系 统， 其特征在于， 所述数据传输 模块支持以太网传输方式， 并通过以太网传输方式与远端服 务器交互。 8.一种系统载体， 包括系统载体本体， 其特 征在于， 所述系统载体本体上配置有：权　利　要　求　书 1/2 页 2 CN 115460392 A 2视频拼接系统， 所述视频拼接系统为如权利 要求1‑7任一项所述的基于SOC的全景3D视 频拼接系统； 导航AI系统， 所述导航AI系 统与所述视频拼接系统中数据传输模块交互， 用于基于视 频拼接系统的输出进行导 航。 9.根据权利要求8所述的系统载体， 其特征在于， 所述系统载体为机器人、 无人飞行器 或智能交通工具。权　利　要　求　书 2/2 页 3 CN 115460392 A 3