(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210321733.X (22)申请日 2022.03.30 (71)申请人 哈尔滨工业大 学 地址 150001 黑龙江省哈尔滨市南岗区西 大直街92号 (72)发明人 赵延龙　尹振东　吴芝路　范浩天　 李大森　 (74)专利代理 机构 黑龙江立超同创知识产权代 理有限责任公司 23217 专利代理师 杨立超 (51)Int.Cl. G06V 10/44(2022.01) G06V 10/82(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 一种基于FPGA的CNN模型轻量化方法、 目标 检测方法及系统 (57)摘要 一种基于FPGA的CNN模型轻量化方法、 一种 目标检测方法及系统， 涉及目标检测技术领域， 用以解决现有基于FPGA的CNN模型在目标检测中 能量效率较低导致不能满足低功耗、 低延时计算 需求的问题。 本发明的技术要点包括 ： 对 SqueezeNet网络模型的卷积层进行定点化， 定点 化是指对计算和 内存存储中的浮点数进行定点 表示和运算， 包括对输入特征图的定点化、 对卷 积层参数的定点化和对卷积层激活函数的定点 化， 其中， 输入特征图和卷积层参数均为单精度 浮点数； 进而还提供一种包含上述Squeez eNet网 络模型的目标检测方法及系统。 本发 明降低了检 测网络的计算复杂 度， 适用于特定场景下的边缘 计算平台， 提升 了检测模型的能量使用效率。 权利要求书3页 说明书10页 附图4页 CN 114898108 A 2022.08.12 CN 114898108 A 1.一种基于FPGA的CNN模型轻量化方法， 其特征在于， 对SqueezeNet网络模型包含的卷 积层进行定点化， 所述定点化是指对计算和内存存储中的浮点数进行定点表示和运算； 包 括对输入特征图的定点化、 对卷积层参数的定点化、 对卷积层激活函数的定点化； 其中， 卷 积层参数包括卷积层权重参数和卷积层偏置参数； 所述输入特征图和所述卷积层参数为单 精度浮点数。 2.根据权利要求1所述的一种基于FPGA的CNN模型轻量化方法， 其特征在于， 对输入特 征图或卷积层参数 的定点化采用线性量化方法进行定点化， 具体包括： 假设输入特征图或 卷积层参数的数量 为N， 首先， 对输入特征图X或卷积层权重参数W或卷积层偏置参数b的绝对值分别进行降序 排序； 然后， 使降序排序后的N个绝对值的前M个绝对值所对应的输入特征图X或卷积层权重 参数W或卷积层偏置参数b 在线性量化之后溢出量化范围， 从而获得降序排序后的输入特征 图X或卷积层权 重参数W或卷积层偏置参数b的第M+1个绝对值； 然后， 根据第M+1个绝对值 分别确定输入特征图X所对应的第一动态范围参数Q1、 卷积层 权重参数W所对应的第二动态范围参数Q2、 卷积层偏置参数b所对 应的第三动态范围参 数Q3； 其中， xM+1表示降序排序后的输入特征图X的第M+1个绝对值； wM+1表示降序排序后的卷积层权重参数W的第M+1个绝对值； bM+1表示降序排序后的卷积层偏置参数b的第M+1个绝对值； 然后， 根据第一动态范围参数Q1、 第二动态范围参数Q2、 第三动态范围参数Q3分别获得B 比特线性 量化之后的输入特 征图或卷积层参数： 式中， x′i、 w′i、 b′i分别表示定点化后的输入特征 图、 卷积层权重参数和卷积层偏置参 数； xi、 wi、 bi分别表示未定点化前的输入 特征图、 卷积层权重参数和卷积层偏 置参数； B表 示 定点化表示所需的比特 数。 3.根据权利要求2所述的一种基于FPGA的CNN模型轻量化方法， 其特征在于， 对卷积层 激活函数的输出值为激活图， 采用线性量化方法进行定点化， 所述激活函数为 ReLU函数， 激 活图的激活值均为非负值。 具体包括： 假设卷积层共有N1个激活值； 首先， 对N1个激活值进行降序排序； 然后， 使降序排序后的N1个激活值的前M1个激活值在线性量化之后溢出量化范围， 从 而获得第M1+1个激活值； 然后， 根据第M1+ 1个激活值确定动态范围参数P， 其中， aM1+1表示第权　利　要　求　书 1/3 页 2 CN 114898108 A 2M1+1个激活值； 然后， 根据动态范围参数P获得B比特线性 量化之后的激活值： 式中， ai'表示定点 化后的激活值； ai表示未定点 化前的激活值。 4.一种目标检测方法， 其特 征在于， 包括以下步骤： 步骤一、 获取多张图像对应的特 征图； 步骤二、 利用CNN模型对输入的特征图进行目标检测， 获取检测结果； 其中， 所述CNN模 型是利用权利要求3所述的基于FPGA的CN N模型轻量化方法获得的Sque ezeNet网络模型。 5.一种目标检测系统， 其特 征在于， 包括： 特征图获取模块， 其配置成获取多张图像对应的特 征图； 目标检测模块， 其配置成利用CNN模型对输入 的特征图进行目标检测， 所述CNN模型为 SqueezeNet网络模型； 包括CNN模型轻量化子模块， 所述CNN模型轻量化子模块配置成： 对 SqueezeNet网络模 型包含的卷积层 进行定点化， 所述定点化是指对计算和内存存储中的浮 点数进行定点表示和运 算； 检测结果输出模块， 其配置成输出目标检测结果。 6.根据权利要求5所述的一种目标检测系统， 其特征在于， 所述CNN模型轻量化子模块 包括输入特 征图定点 化单元、 卷积层参数定点 化单元和卷积层激活函数定点 化单元； 其中， 所述输入特征图定点化单元， 其配置成采用线性量化方法对输入特征图进行定点化， 所述输入特 征图为单精度浮 点数； 具体包括： 假设输入特 征图的数量 为N， 首先， 对输入特 征图X的绝对值进行降序排序； 然后， 使降序排序后的N个绝对值的前M个绝对值所对应的输入特征图X在线性量化之 后溢出量 化范围， 从而获得降序排序后的输入特 征图X的第M+1个绝对值； 然后， 根据第M+1个绝对值确定输入特征图X所对应的第一动态范围参数Q1， xM+1表示降序排序后的输入特 征图X的第M+1个绝对值； 然后， 根据第一动态范围参数Q1获得B比特线性 量化之后的输入特 征图： 式中， x′i表示定点化后的输入特征图； xi表示未定点化前的输入特征图； B表示定点化 表示所需的比特 数。 7.根据权利要求6所述的一种目标检测系统， 其特征在于， 所述卷积层参数定点化单元 配置成采用线性量化方法对卷积层参数进 行定点化， 所述卷积层参数包括卷积层权重参数 和卷积层偏置参数， 所述卷积层参数为单精度浮点数； 具体包括： 假设卷积层参数的数量为 N， 首先， 对卷积层权 重参数W或卷积层偏置参数b的绝对值分别进行降序排序； 然后， 使降序排序后的N个绝对值的前M个绝对值所对应的卷积层权重参数W或卷积层 偏置参数b在 线性量化之后溢出量化范围， 从而获得降序排序后的卷积层权重参数W或卷积 层偏置参数b的第M+1个绝对值； 然后， 根据第M+1个绝对值 分别确定 卷积层权重参数W所对应的第二动态范围参数Q2、 卷权　利　要　求　书 2/3 页 3 CN 114898108 A 3