(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211071486.9 (22)申请日 2022.09.02 (71)申请人 白犀牛智达 （北京） 科技有限公司 地址 100089 北京市海淀区花园东路1 1号 泰兴大厦9层902室 (72)发明人 刘相锋　赵鸿波　 (74)专利代理 机构 深圳市深佳知识产权代理事 务所(普通 合伙) 44285 专利代理师 秦超逸 (51)Int.Cl. H04N 5/232(2006.01) H04N 5/262(2006.01) (54)发明名称 一种基于FPGA的图像处 理方法和系统 (57)摘要 本发明公开了一种基于FPGA的图像处理方 法和系统， 应用于FPGA处理器， 涉及摄像头和主 计算单元， FPGA处理器分别与摄像头和主计算单 元连接， 包括： 实时获取摄像头拍摄的环境图像， 将环境图像转换成图像数据； 去除图像数据携带 的地址信息， 并根据图像数据的图像缺陷进行校 正， 生成中间数据； 逐一判断中间数据是否满足 地址信息的多个写入条件； 若全部满足， 则将地 址信息写入中间数据， 生成目标数据； 将图像数 据和目标数据发送至主计算单元。 解决了现有技 术需要CPU的深度参与， 造成消耗了大量的CP U资 源， 导致图像处理过程中产生延迟的技术问题。 本发明利用FPGA处理器的并行处理能力释放基 础图像处 理功能， 降低了系统的延迟。 权利要求书3页 说明书13页 附图4页 CN 115460350 A 2022.12.09 CN 115460350 A 1.一种基于FPGA的图像处理方法， 其特征在于， 应用于FP GA处理器， 涉及摄像头和主计 算单元， 所述FPGA处 理器分别与所述摄 像头和所述主计算单 元连接， 所述方法包括： 实时获取 所述摄像头拍摄的环境图像， 将所述环境图像转换成图像数据； 去除所述图像数据携带的地址信息， 并根据所述图像数据的图像缺陷进行校正， 生成 中间数据； 逐一判断所述中间数据是否满足所述 地址信息的多个写入条件； 若全部满足， 则将所述 地址信息写入所述中间数据， 生成目标 数据； 将所述图像数据和所述目标 数据发送至所述主计算单 元。 2.根据权利要求1所述的基于FPGA的图像处理方法， 其特征在于， 还涉及设备主板接插 件， 所述设备主板接插件分别与所述摄像头和所述FPGA处理器连接； 所述实时获取所述摄 像头拍摄的环境图像， 将所述环境图像转换成图像数据的步骤， 包括： 按照GMSL2协议实时发送所述摄像头拍摄的环境图像至所述设备主板接插件， 生成 GMSL2数据； 通过所述设备主板 接插件将所述GMSL2数据进行解串， 生成图像数据。 3.根据权利要求1所述的基于FPGA的图像处理方法， 其特征在于， 所述去除所述图像数 据携带的地址信息， 并根据所述图像数据的图像缺陷进行校正， 生成中间数据 的步骤， 包 括： 去除所述图像数据携带的地址信息， 生成无地址数据； 将所述无地址数据中的RAW格式转换成RGB格式， 生成RGB图像数据； 根据所述RGB图像数据的图像缺陷进行校正， 生成中间数据； 其 中， 所述校正包括 gamma 校正、 图像增强、 图像缩放和图像识别。 4.根据权利要求1所述的基于FPGA的图像处理方法， 其特征在于， 还涉及DDR4组件， 所 述DDR4组件与所述FPGA处理器连接； 所述逐一判断所述中间数据是否满足所述地址信息的 多个写入条件的步骤， 包括： 判断所述中间数据是否满足所述 地址信息的开始写入条件； 若满足， 则获取所述中间数据的帧起始地址， 并判断先入先出队列中的输送数据是否 满足所述中间数据的输送条件； 若满足， 则获取所述中间数据对应的地址字节长度， 并判断是否接收到所述DDR4组件 发送的已备好接收信号； 若接收到， 则从所述中间数据读取突发字节长度 数据， 并将所述突发字节长度数据、 所 述地址字节长度和写入数据有效信号输送至所述D DR4组件； 当接收到所述DDR4组件的反馈信号时， 判断所述突发字节长度 数据对应的字节数是否 等于所述中间数据对应的字节数； 若等于， 则判定所述中间数据满足所述 地址信息的全部写入条件。 5.根据权利要求4所述的基于FPGA的图像处理方法， 其特征在于， 所述判断所述中间数 据是否满足所述 地址信息的开始写入条件的步骤， 包括： 判断所述中间数据是否满足所述地址信 息的开始写入条件； 所述中间数据还包括帧开 始写信号； 若所述帧开始写信号为上升沿时， 则判定所述中间数据满足所述地址信 息的开始写入权　利　要　求　书 1/3 页 2 CN 115460350 A 2条件； 若所述帧开始写信号不为上升沿时， 则判定所述中间数据不满足所述地址信 息的开始 写入条件。 6.根据权利要求4所述的基于FPGA的图像处理方法， 其特征在于， 所述若满足， 则获取 所述中间数据的帧起始 地址， 并判断先入先出队列中的输送数据是否满足所述中间数据的 输送条件的步骤， 包括： 若满足， 则获取所述中间数据的帧起始地址， 并判断先入先出队列中的输送数据是否 满足所述中间数据的输送条件； 若满足， 则传输所述中间数据对应的地址信息 至所述DDR4组件； 若不满足， 则将新的输送数据累加至所述先入先出队列中的输送数据， 直至所述先入 先出队列中的输送数据满足所述中间数据的输送条件。 7.根据权利要求4所述的基于FPGA的图像处理方法， 其特征在于， 所述若满足， 则获取 所述中间数据对应的地址字节长度， 并判断是否接收到所述DDR4组件发送的已备好接收信 号的步骤， 包括： 若所述先入先出队列中的输送数据满足所述中间数据的输送条件， 则获取所述中间数 据对应的地址 字节长度； 判断是否 接收到所述D DR4组件发送的已备好接收地址信号； 当接收到所述已备好接收地址信号时， 获取所述中间数据的写入数据有效信号， 并判 断是否接收到所述D DR4组件发送的已备好接收数据信号。 8.根据权利要求4所述的基于FPGA的图像处理方法， 其特征在于， 所述当接收到所述 DDR4组件的反馈信号时， 判断所述突 发字节长度数据对应的字节数是否等于所述中间数据 对应的字节数的步骤， 还 包括： 当接收到所述DDR4组件的反馈信号时， 从所述反馈信号中获取所述突发字节长度 数据 对应的字节数； 判断所述 突发字节长度数据对应的字节数 是否等于所述中间数据对应的字节数； 当所述突发字节长度 数据对应的字节数小于所述中间数据对应的字节数时， 则将新的 地址数据累加写入所述 突发字节长度数据； 跳转执行所述判断所述突发字节长度数据对应的字节数是否等于所述中间数据对应 的字节数的步骤， 直至所述突发字节长度数据对应的字节数等于所述中间数据对应的字节 数。 9.根据权利要求1所述的基于FPGA的图像处 理方法， 其特 征在于， 还 包括： 实时获取 所述摄像头拍摄的环境视频； 按照预定格式将所述环境视频进行压缩， 并发送至所述主计算单 元。 10.一种基于FPGA的图像处理系 统， 其特征在于， 应用于FPGA处理器， 涉及摄像头和主 计算单元， 所述FPGA处 理器分别与所述摄 像头和所述主计算单 元连接， 所述系统包括： 图像数据模块， 用于实时获取所述摄像头拍摄的环境图像， 将所述环境图像转换成图 像数据； 中间数据模块， 用于去 除所述图像数据携带的地址信息， 并根据所述图像数据的图像 缺陷进行 校正， 生成中间数据；权　利　要　求　书 2/3 页 3 CN 115460350 A 3