(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211307924.7 (22)申请日 2022.10.25 (71)申请人 苏州千里雪智能科技有限公司 地址 215000 江苏省苏州市吴江区东太湖 生态旅游度假区 （太湖新城） 苏州河路 18号太湖新城科创园3号楼 229室 (72)发明人 李雪梅　 (74)专利代理 机构 常州市天龙专利事务所有限 公司 3210 5 专利代理师 张万兵 (51)Int.Cl. G06V 10/147(2022.01) G06V 10/141(2022.01) G06V 10/94(2022.01) G06V 10/82(2022.01)G06T 7/246(2017.01) G06T 7/33(2017.01) G06T 7/73(2017.01) G06T 7/80(2017.01) G06T 15/04(2011.01) G06T 17/00(2006.01) (54)发明名称 一种基于5G四目立体 视觉摄像机调节系统 (57)摘要 本发明公开了一种基于5G四目立体视觉摄 像机调节系统， 具体涉及非电变量的物理调节控 制技术领域， 包括5G通信模块， 是组合5G芯片、 存 储器、 射频电路及定位系统于一体的模块， 用作 信息传输、 交换及通信， 其通过接口连接5G网络， 给软硬件之间传输信息起到精确、 快速、 高效的 通信作用， 图像采集数据预处理模块， 是由图像 传感器、 存储器、 可编辑控制器及处理器组成的； 本发明具体采用三维重建计算控制模块和立体 视觉标定模块对立体视觉的目标物体标定计算， 采用AI调节立体视觉模块进行人工智 能调节处 理， 实现了人工智 能调节立体视觉的功能， 达到 了提高算力、 智能识别、 跟踪、 测定、 监控及坐标 转换数据与标准 值的差距减 小的效果。 权利要求书2页 说明书7页 附图3页 CN 115375890 A 2022.11.22 CN 115375890 A 1.一种基于5G四目立体视觉摄像机调节系统， 其特征在于： 是由软硬件架构而成， 硬件 包括计算机、 四 目摄像机组、 照明灯组和倍频同步器； 软件包括5G通信模块， 是 组合5G芯片、 存储器、 射频电路及定位系统于一体的模块， 用作信息传输、 交换及通信； 图像采集数据预处理模块， 是通过四目摄像机组扫描拍摄目标物体， 采集图像信息进 行数据处理， 并把处理后的数据信息传输到立体视觉标定模块和三 维重建计算控制模块中 进行数据计算再处 理； 三维重建计算控制模块， 接收图像采集数据预处理模块处理后的图像数据， 对图像数 据进行再计算处理， 通过计算算法进 行计算， 获取贴合影像标准数据， 三 维重建图像后传输 到立体视 觉标定模块进行目标物体的标定； 立体视觉标定模块， 是接收图像采集数据 预处理模块采集影像信 息和三维重建计算控 制模块计算的数据， 进 行立体视觉标定， 计算出目标物体坐标系， 把计算结果传输到计算机 和AI调节立体视 觉模块进行智能调控； AI调节立体视觉模块， 接收立体视觉标定模块标定的数据信 息和计算机下达的调节指 令， 通过锁定目标物体进行识别、 跟踪、 测定及检测数据结果， 进行四目摄像机组的光影与 位姿调节。 2.根据权利要求1所述的一种基于5G四目立体视觉摄像机调节系统， 其特征在于： 硬件 中的计算机是基于计算机技术、 5G无线网络通信技术、 远程操作技术及系统处理数据的运 行终端； 所述四目摄像机组是 由四个独立镜头组成的摄像机， 能够调节角度覆盖立体空间 全景； 所述照明灯组是利用电源和计算机控制， 对四 目摄像机组采集目标物体， 进 行光场补 偿； 所述倍频同步器是在四目摄像机组中安装输出信号频率等于输入信号频率整倍数的电 路。 3.根据权利要求1所述的一种基于5G四目立体视觉摄像机调节系统， 其特征在于： 所述 5G通信模块包括5G通信芯片、 存储器接口及射频电路， 所述5G通信芯片是连接5G高速数据 服务的芯片； 所述存储器接口是在时序逻辑电路上提供存储接口连接5 G通信芯片和射频电 路的引脚， 经 过接口进行 数据传输； 所述 射频电路包括收发机， 用作无线通信收发信号。 4.根据权利要求1所述的一种基于5G四目立体视觉摄像机调节系统， 其特征在于： 所述 图像采集数据预处理模块包括CMOS传感单元、 SRAM存储单元、 FPGA控制单元及图像数据处 理单元， 所述CMOS传感单元是四目摄像机组采集图像的传感器， 能够将采集图像的光信号 转换成电信号， 将获取的图像数据转换成数字数据， 用来捕捉图像； 所述SRAM存储单元是在 通电状态下， 不需要刷新电路就能支持储存、 更新及保持图像数据信息； 所述FPGA控制单元 能够处理图像处理算法、 编辑控制代码及仿 真调试， 利用逻辑控制处理数据采集； 所述图像 数据处理单元是对采集的图像数据进行去噪、 图像分割 、 增强、 复原及边 缘化处理的过程。 5.根据权利要求1所述的一种基于5G四目立体视觉摄像机调节系统， 其特征在于： 所述 三维重建计算控制模块包括 获取深度数据单元、 数据预 处理、 点云配准融合定位定姿 单元、 纹理映射生成表面单元及A I算法控制单元， 所述获取深度数据单元是通过光源变换感知的 像素、 测定光发射到返回时间及红外线的三角测距来获取图像中物体的深度信息； 所述数 据预处理是把获取深度数据单元中获取真实目标物体的位置信息， 建立成符合计算机逻辑 表达的数学模型； 所述点云配准融合定位定姿单元是在数据预处理后的模型中， 通过坐标 精度、 空间分辨率和表面法向量进行三维坐标点形式记录， 记录后的图像即为定位定姿的权　利　要　求　书 1/2 页 2 CN 115375890 A 2数据信息； 所述纹理映射生成表面单元是经过点云配准融合定位定姿单元中的点云计算、 配准、 融合步骤完成后， 通过图像处理的纹理映射技术， 生成图像表面； 所述AI算法控制单 元是将深度图计算点云数据的图像四个坐标系数值， 通过在FPGA编辑A I算法使用并计算图 像坐标数据， 控制算力。 6.根据权利要求1所述的一种基于5G四目立体视觉摄像机调节系统， 其特征在于： 所述 立体视觉标定模块是用于对四目摄像机组对目标物体标定从世界坐标系转换到图像坐标 系的过程， 其包括畸变系数、 外参标定、 内参标定、 标靶棋盘格及计算标定位置坐标单元， 所 述畸变系数是由四目摄像机组的透镜透过光线到成像平面的位置发生偏移引起的畸变， 经 过AI算法计算四个坐标系之 间的数值， 求出畸变量， 建立径切向畸变模 型求出畸变系数； 所 述外参标定是四目摄像机组标定模型 的参数， 包括旋转矩阵和平移向量； 所述内参标定是 图像三维点到二维点坐标 的转换； 所述标靶棋盘格是输入指定格式的棋盘格文件， 通过提 取角点和靶标图像的计算机计算， 进行内外参数标定， 获取靶标图像相对于四目摄像机组 的位姿， 以此计算 目标物体的位姿坐标点数据； 所述计算标定位置坐标单元是根据现有的 四个坐标系公式进行计算标定位置坐标点的数据。 7.根据权利要求1所述的一种基于5G四目立体视觉摄像机调节系统， 其特征在于： 所述 AI调节立体视觉模块包括智能识别目标单元、 跟踪目标物体单元、 A I检测障碍单元、 摄相机 光影与位姿调节单元及AI视觉深度学习单元， 所述智能识别目标单元是通过计算机读取重 建图像信息数据进 行提取特征量处理、 分析和理解， 采用深度学习算法进 行图像识别； 所述 跟踪目标物体单元是通过四目摄像机组扫描目标物体的边缘轮廓、 最短测距、 表面凹凸特 征及中心位置点进行锁定独立 目标物体， 当目标物体是移动的时候， 四目摄像机组通过人 工智能追踪技术， 当目标物体是分散时， 则采用四目摄像机组的全覆盖式记录多目标运行 轨迹进行追踪， 以此达到跟踪效果； 所述AI检测障碍单元是在排除目标物体的动静态障碍 物的状态下， 对目标物体的跟踪进行障碍检测， 以及对四目摄像机组调节过程的状态进行 检测； 所述摄相 机光影与位姿调节单元是通过照明灯组的光影形状、 强弱对目标物体进行 照射， 和采用移动四 目摄像机组的位置、 角度对标定图像计算的坐标系结果进 行对比， 判断 及调节立体视觉效果； 所述AI视觉深度学习单元将四目摄像机组采集的图像数据， 通过标 注图像数据并训练神经网络， 通过训练后的神经网络对图像的立体视 觉进行调节。权　利　要　求　书 2/2 页 3 CN 115375890 A 3