(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 20221087175 3.4 (22)申请日 2022.07.22 (71)申请人 福州大学 地址 362251 福建省泉州市晋 江市金井镇 水城路1号 (72)发明人 林志坚　祝志鹏　陈小培　张海忠　 陈平平　 (74)专利代理 机构 福州元创专利商标代理有限 公司 35100 专利代理师 蔡学俊　薛金才 (51)Int.Cl. G06V 20/40(2022.01) G06V 20/52(2022.01) G06V 10/82(2022.01) (54)发明名称 一种基于PYNQ的商品智能监控方法及其装 置 (57)摘要 本发明提供了一种基于PYNQ的商品智能监 控方法及其装置， 采用Python+FPGA的设计框架， 提出基于视觉识别的监测系统。 PYNQ架构是在原 有ZYNQ基础上加入Python库而成的一种开放源 代码框架， PYNQ架构可降低系统开发难度同时增 大底层逻辑代码的通用性。 可编程逻辑电路作为 overlay向上层提供服务， 使用Python对处理器 和overlays进行编程。 此外PYNQ作为一个开源框 架， 可以运行在任何设备和操作系统上。 该系统 通过摄像头采集视频画面， 经过神经网络判断商 品种类， 并送给服务器后台实时监控商品状态， 应用本技术方案可以实现商品种类丰富、 维护成 本低、 可远程操控的商品监控 装置。 权利要求书2页 说明书5页 附图2页 CN 115240110 A 2022.10.25 CN 115240110 A 1.一种基于PYN Q的商品智能监控方法， 其特 征在于包括如下步骤： (1)确定指定商品类别， 采集确定数据集并进行标注， 在电脑中使用Darknet框架训练 YOLOv2‑Tiny得到预训练的权重， 并进行提取量化操作， 得到16位的动态定点数据类型的权 重文件； (2)使用Vivado  HLS工具仿真、 综合得到硬件加速的IP核文件， 在Vivado软件中调用该 IP核并添加GPIO外设作为超声波测距模块的Tr ig和Echo， 硬件 连接无误后综合得到比特流 文件； (3)SD卡中烧写PYNQ镜像， 在Jupyter软件中编写相应的驱动程序， 配置网络各层参数， 定义API接口以及使用方法， 定义激活函数， 并上传硬件.bit文件、 .tcl文件和量化得到的 权重文件； (4)在Jupyter软件中使用多线程 的方法， 一是利用Python库实时读取USB摄像头的每 一帧图像信息， 使用UDP通信实时传送给P C端的电脑显示； 二是超声波模块 实时采集距离数 据， 判断为有开/关门的触发动作时保存当前采集到的图像信息， 送入硬件结构中进 行目标 检测， 得到检测框信息以及检测 后的图像， 送入本地SD卡指 定位置保存， 同时设置一个检测 标志状态； 三是当有检测标志状态时， 执行标志状态清零， 并且将 检测后的图像通过UDP， 检 测信息通过TCP传送给电脑端显示； (5)网络前向推理过程， FPGA通过DMA 从DDR读取特征图数据和权重数据， 每一层计算完 成后重新写回D DR， 各层依次循环进行， 卷积和池化层分别调用IP核中不同的计算方法； (6)硬件处理完成后在ARM中利用IOU、 NMS等进行预测框的筛选并且绘制在原始图像 中。 2.一种基于PYNQ的商品智能监控装置， 其特征在于采用了权利要求1所述的一种基于 PYNQ的商品智能监控方法， 包括目标检测系统、 图像采集及超声波测距模块以及PC端显示 界面及数据传输模块。 3.根据权利要求2所述的一种基于PYNQ的商品智能监控装置， 其特征在于， 所述目标检 测系统包括Pytho n软件预处 理、 通用神经网络加速IP和后处 理； Python软件预处理是在ARM处理器软件中使用Python语言对采集到的RGB图像进行处 理， 将像素转化至[0,1]区间， 将原图预处理为长和宽相等的图像， 并压缩至416x416； 通用 卷积神经网络加速IP设计在FPGA中， 完成网络的卷积和 池化计算， 输入大小为416x416x3， 最终输出13x13x425大小的数据， YOLOv2 ‑Tiny网络总 共16层， 其中卷积层9层、 池化层6层， 最后一层为检测层， 各层参数由Python端 软件记录并在每次调用神经网络加速IP时一并传 入硬件中进行计算； 后处理根据硬件加 速最终输出13x13x425大小的特征图计算各边框的 信息以及预测物体的概率信息， 再经过IOU和NMS信息筛选边界框得到最终的检测结果， 最 后根据预处 理中压缩前的尺寸大小裁 剪、 放大还原图像。 4.根据权利要求2所述的一种基于PYNQ的商品智能监控装置， 其特征在于， 图像采集及 超声波测距模块包括图像采集以及超声波测距； 图像采集使用型号为Gsou  T20的USB摄像 头， PYNQ Z2开发板烧写PYNQ镜像在Jup yter Notebook中方便的调用Python库， 在Jupyter   Notebook中导入OpenCV库， 使用CV库中的方法对USB摄像头一帧一帧的读取图像信息， 此过 程作为一个单独的线程， 在主函数运行 过程时刻进行。 5.根据权利要求4所述的一种基于PYNQ的商品智能监控装置， 其特征在于， 超声波测距权　利　要　求　书 1/2 页 2 CN 115240110 A 2模块使用的是HC ‑SR04模块， 总共4个引脚， 采用3.3v供电， 由两个引脚完成读取控制； 将 PYNQ Z2开发板上PMODA中的Pin  1和Pin 7分别控制HC ‑SR04模块的Trig和Echo引脚， 在 Vivado工程中添加AXIGPIO模块， 连接Trig的引脚设置为ouput， 连接Echo的引脚设置为 input， 添加约束文件， 综合生成.bit文件后， 上传到PYNQ  Z2中， 在Jupyter中定义超声波测 距模块并在主程序中调用该模块完成测距。 6.根据权利 要求2所述的一种基于PYNQ的商品智能监控装置， 其特征在于， PC端显示界 面采用QT完成界面的绘制以及代码的编写； 功能包括： 左侧主界面 实时显示USB摄像头采集 到的画面； 右侧主界面显示P YNQ Z2检测并传送至P C端的图片并保存在指 定文件夹中； 本机 IP右侧显示PC与PYNQ  Z2连接时当前PC的IP地址， 监听UDP端口和监听TCP端口右侧显示与 PYNQ Z2连接时通信的端口号； 选择保存图像路径用于在PC端保存实时图像， 并可 以指定 为.jpg格式或.png格式， 并且选择的路径显示在 “图像保存路径 ”右侧； 开启监听可控制PC 与PYNQ Z2连接， 连接后显示为 “关闭监听 ”， 截图和录像都是针对左侧主界面实时显示USB 摄像头采集到的画面中实时显示的图像， 保存路径与由前面的 “选择保存图像路径 ”确定； 显示与PYNQ  Z2连接的状态以及提示信息； 在右下方的窗口中可编辑字符信息发送给PYNQ   Z2端； 右下 方显示PC端接收到检测图像的类别、 坐标、 置信度等信息以及接收时间； QT编写软件测试无误后， 借助Enigma  Virtual Box工具将QT程序打包为.exe的可执行 文件。权　利　要　求　书 2/2 页 3 CN 115240110 A 3