(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210371662.4 (22)申请日 2022.04.11 (71)申请人 中山大学 地址 510275 广东省广州市海珠区新港西 路135号 (72)发明人 陈弟虎　杨升荣　余杨斌　 (74)专利代理 机构 广州嘉权专利商标事务所有 限公司 4 4205 专利代理师 梁嘉琦 (51)Int.Cl. G06V 20/52(2022.01) G06V 40/10(2022.01) G06V 10/82(2022.01) G06V 10/44(2022.01) G06N 3/04(2006.01) (54)发明名称 一种行人重识别的神经网络加速装置及方 法 (57)摘要 本发明公开了一种行人重识别的神经网络 加速装置及方法。 一种行人重识别的神经网络加 速装置包括： 控制模块、 缓存模块、 行缓存模块、 致密卷积模块、 深度可分离卷积模块和存储模 块， 其中缓存模块包括权重缓存模块和特征缓存 模块， 特征缓存模块为多分支网络结构。 本发明 通过设置多分支网络结构的特征缓存模块， 计算 获取的输入 特征得到中间特征并缓存， 实现了对 多分支网络结构的中间特征的缓存， 无需通过频 繁访问内存来获取中间特征， 降低了延时和功 耗； 通过设置致密卷积模块与 深度可分离卷积模 块的并行计算， 减少了数据写回缓存模块的次数 和数量， 从而 进一步降低了延时和功耗。 权利要求书3页 说明书10页 附图4页 CN 114782890 A 2022.07.22 CN 114782890 A 1.一种行 人重识别的神经网络加速装置， 其特 征在于， 包括： 控制模块， 用于产生读控制信号和写控制信号； 缓存模块， 包括权重缓存模块和特征缓存模块， 所述权重缓存模块用于根据所述写控 制信号获取权重并缓存， 所述特征缓存模块为多分支网络结构， 用于根据所述写控制信号 获取输入特 征， 用于根据所述输入特 征计算得到中间特 征并缓存； 行缓存模块， 用于根据所述读控制信号读取所述权重和所述中间特征， 用于将所述权 重和所述中间特 征重新排列得到 权重向量和特 征向量； 致密卷积模块， 用于根据所述权重向量和所述特征向量进行致密卷积计算， 生成第一 特征； 深度可分离卷积模块， 用于根据所述第一特征生成第二特征， 所述第二特征为深度可 分离卷积权重， 并根据所述第一特征和所述第二特征进行深度可分离卷积计算， 得到第三 特征； 存储模块， 用于将所述第一特 征和所述第三特 征存入所述特 征缓存模块中。 2.根据权利要求1所述的一种行人重识别的神经网络加速装置， 其特征在于， 所述特征 缓存模块的多分支网络结构包括第一特征缓存模块、 两个第二特征缓存模块、 三个第三特 征缓存模块、 三个第四特 征缓存模块和第五特 征缓存模块； 所述第一特征缓存模块根据 所述写控制信号获取所述输入特征并缓存， 根据 所述输入 特征进行卷积计算生成 中间输出特征并缓存在第一个所述第二特征缓存模块， 所述中间输 出特征通过Lite  3×3卷积计算生成第一卷积结果、 第二卷积结果、 第三卷积结果和第四卷 积结果， 并将所述第一卷积结果存入第一个所述第三特征缓存模块， 将所述第二卷积结果 存入第一个所述第四特征缓存模块， 将所述第三卷积结果存入第二个所述第四缓存模块， 将所述第四卷积结果存入第三个所述第四缓存模块， 所述第一卷积结果与所述第二卷积结 果融合生成第一融合结果并存入所述第五特征缓存模块， 所述第一融合结果与所述第三卷 积结果融合后生成第二融合结果并存入第二个所述第三特征缓存模块， 所述第二融合结果 与所述第四卷积结果融合后生成第三融合结果并存入第二个所述第二特征缓存模块， 根据 所述第三融合结果进 行卷积计算生成第五卷积结果并存入第三个所述第三特征缓存模块， 根据所述输入特征与所述第五卷积结果进 行残差融合， 生成所述中间特征并存入所述第一 特征缓存模块。 3.根据权利要求2所述的一种行人重识别的神经网络加速装置， 其特征在于， 所述第 一 特征缓存模块和所述第四特 征缓存模块采用pi ng‑pong缓存结构。 4.根据权利要求2所述的一种行人重识别的神经网络加速装置， 其特征在于， 所述第 一 特征缓存模块、 所述第二特征缓存模块、 所述第三特征缓存模块、 所述第四特征缓存模块和 所述第五特 征缓存模块的存 储方式包括特 征宽优先和特 征通道优先。 5.根据权利要求1所述的一种行人重识别的神经网络加速装置， 其特征在于， 所述权重 缓存模块采用pi ng‑pong缓存结构。 6.根据权利要求1所述的一种行人重识别的神经网络加速装置， 其特征在于， 所述致密 卷积模块包括乘法模块和 加法树； 所述乘法模块根据所述权重向量和所述特征向量进行乘法运算， 得到乘积向量； 所述 加法树将所述乘积向量相加， 得到所述第一特 征。权　利　要　求　书 1/3 页 2 CN 114782890 A 27.根据权利要求1所述的一种行人重识别的神经网络加速装置， 其特征在于， 还包括池 化模块； 所述池化模块根据所述第一特征进行最大池化计算或者平均池化计算， 得到池化结 果； 所述存 储模块将所述池化结果存 入所述特 征缓存模块中。 8.一种行人重识别的神经网络加速方法， 其特征在于， 所述方法应用于行人重识别的 神经网络加速装置， 所述行人重识别的神经网络加速装置包括控制模块、 缓存模块、 行缓存 模块、 致密卷积模块、 深度可分离卷积模块和存储模块， 所述缓存模块包括权重缓存模块和 特征缓存模块， 所述特 征缓存模块为多分支网络结构， 所述方法包括： 通过所述控制模块产生读控制信号和写控制信号； 根据所述写控制信号， 通过 所述权重缓存模块获取权 重并缓存； 根据所述写控制信号， 通过所述特征缓存模块获取输入特征， 并根据所述输入特征计 算得到中间特 征并缓存； 根据所述读控制信号， 通过所述行缓存模块获取所述权重和所述中间特征， 并将所述 权重和所述中间特 征重新排列得到 权重向量和特 征向量； 根据所述权重向量和所述特征向量， 通过所述致密卷积模块进行致密卷积计算， 生成 第一特征； 根据所述第一特征， 通过所述深度可分离卷积模块生成第二特征， 所述第二特征为深 度可分离卷积权 重； 根据所述第 一特征和所述第 二特征， 通过所述深度 可分离卷积模块进行深度 可分离卷 积计算， 得到第三特 征； 通过所述存储模块将所述第一特 征和所述第三特 征存入所述特 征缓存模块中。 9.根据权利要求8所述的一种行人重识别的神经网络加速方法， 其特征在于， 所述特征 缓存模块的多分支网络结构包括第一特征缓存模块、 两个第二特征缓存模块、 三个第三特 征缓存模块、 三个第四特 征缓存模块和第五特 征缓存模块； 所述根据所述写控制信号， 通过所述特征缓存模块获取输入特征， 并根据所述输入特 征计算得到中间特 征并缓存， 包括： 根据所述写控制信号， 通过 所述第一特 征缓存模块获取 所述输入特 征并缓存； 根据所述输入特征进行卷积计算， 生成中间输出特征并缓存在第 一个所述第 二特征缓 存模块； 所述中间输出特征通过Lite  3×3卷积计算生成第一卷积结果、 第二卷积结果、 第三卷 积结果和第四卷积结果， 并将所述第一卷积结果存入第一个所述第三特征缓存模块， 将所 述第二卷积结果存入第一个所述第四特征缓存模块， 将所述第三卷积结果存入第二个所述 第四缓存 模块， 将所述第四卷积结果存 入第三个所述第四缓存 模块； 将所述第一卷积结果与所述第二卷积结果融合生成第一融合结果并存入所述第五特 征缓存模块； 将所述第一融合结果与所述第三卷积结果融合后生成第二融合结果并存入第二个所 述第三特 征缓存模块； 将所述第二融合结果与所述第四卷积结果融合后生成第三融合结果并存入第二个所 述第二特 征缓存模块；权　利　要　求　书 2/3 页 3 CN 114782890 A 3