(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210209888.4 (22)申请日 2022.03.04 (71)申请人 深圳信息职业 技术学院 地址 518000 广东省深圳市龙岗区龙城街 道龙翔大道 2188号 申请人 广东技术师范大学 (72)发明人 周莹　刘少鹏　胡琬璐　彭雪　 欧阳佳　李锦海　 (74)专利代理 机构 北京中济纬天专利代理有限 公司 11429 专利代理师 谢珊 (51)Int.Cl. G06V 10/82(2022.01) G06V 10/764(2022.01) G06V 10/77(2022.01)G06V 10/44(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01) G06K 9/62(2022.01) (54)发明名称 一种面向图像识别的网络架构搜索方法 (57)摘要 本发明公开了一种基于图像识别的网络架 构搜索方法， 首先采用基于单元搜索的网络基础 架构设计， 限定在特定单元而非整个网络架构 进 行搜索， 有效缩小搜索空间。 接着提出一种 高效 公平的可微 分网络架构搜索新方法， 解决搜索过 程计算代价过高且输出的网络分类性能不稳定 的问题。 最后为进一步提升网络泛化能力， 在搜 索过程中引入网络复杂 度正则化项， 使得网络在 性能和复杂度两者之间取得平衡。 本发明实现的 网络架构搜索方法， 具有高效、 稳定的特点， 无需 人工干预即可自动输出高效的网络架构来解决 图像识别任务。 权利要求书2页 说明书6页 附图3页 CN 114612761 A 2022.06.10 CN 114612761 A 1.一种面向图像识别的网络架构搜索方法， 其特 征在于， 包括以下步骤： S1： 设计基于单元搜索的网络基础架构， 所述网络为卷积神经网络， 限定在特定单元而 非整个网络基础架构进行搜索， 通过可计算的有向无环图表示待搜索单元， 整个网络由若 干个单元组成的特 征提取模块和全连接层组成； S2： 构建基于ReLU函数的连接操作权重归一化方法， 删除权重不大于0的连接， 加速搜 索过程； S3： 在搜索过程中引入网络复杂度正则化项， 使网络在性能和复杂度两者之间取得平 衡。 2.根据权利要求1所述的一种面向图像识别的网络架构搜索方法， 其特征在于， 所述基 于单元搜索的网络基础架构， 在训练过程中采用随机平 滑函数优化网络参数。 3.根据权利要求2所述的一种面向图像识别的网络架构搜索方法， 其特征在于， 所述网 络训练中网络的目标函数由训练损失构成， 设定图像数据集为D， 其中标注数据子集和无标 注数据子集分别为： D+和D‑， x为预处理后的图像， y为有标注样本x对应的类别标签， y'表示 卷积神经网络C对x的预测结果： y'＝C(x)， 网络参数记 为θ， CE为交叉熵损失函数， Ω表 示正 则化项， 描述网络复杂度； 网络的目标函数l( θ )由训练损失lc构成： l( θ )＝lc, 其中， lc定义如下： 4.根据权利要求1所述的一种面向图像识别的网络架构搜索方法， 其特征在于， 所述待 搜索单元种类包括普通单元和降维单元， 每个单元之间由若干块以特定操作连接起来， 块 之间的连接操作为该 单元待搜索参数。 5.根据权利要求4所述的一种面向图像识别的网络架构搜索方法， 其特征在于， 所述普 通单元本质上是不改变输入特征图大小的卷积， 降维单元是将特征图缩小为原 来的一半的 卷积。 6.根据权利要求1所述的一种面向图像识别的网络架构搜索方法， 其特征在于， 所述有 向无环图表示待搜索单元， 有向无环图中的节点代表特征图， 边则是两个节点之间的连接 操作。 7.根据权利要求6所述的一种面向图像识别的网络架构搜索方法， 其特征在于， 所述连 接操作总共有8种， 分别为3 ×3最大池化、 3 ×3平均池化、 3 ×3扩张卷积、 5 ×5扩张卷积、 3 × 3深度可分卷积、 5 ×5深度可分卷积、 跳跃 连接和无 连接。 8.根据权利要求1所述的一种面向图像识别的网络架构搜索方法， 其特征在于， 所述全 连接层包括两层神经元， 以特征图为输入， 输入层神经元数目与特征图大小一致， 输出层神 经元与图像类别数量相同， 输出图像在各个类别的概率分布， 选取最大概率值对应类别为 预测结果。 9.根据权利要求1所述的一种面向图像识别的网络架构搜索方法， 其特征在于， 所述步 骤S2具体包括： 设定N个有序节点组成的有向无环图， 节点代表样本在卷积神经网络不同位置的特征权　利　要　求　书 1/2 页 2 CN 114612761 A 2图， 节点xi和xj之间的每一条有向边ei,j代表一种连接操作oi,j， 包含M个连接操作候选集为 经过oi,j后， 节点xi变换为oi,j(xi)， 而节点xj等于相连节点的输出变换求 和： xj＝∑i＜joi,j(xi)； 与oi,j关联的连续权重参数记为 节点xi和xj之间的连接松弛为整 个连接操作候选集与权重参数 向量 的乘积求和； 选择ReLU函数对连接操 作权重分量归一 化， 则节点xi的变换重新定义如下： 网络架构搜索由离散的有向无环图节点间连接操作类型选择问题， 转化为连续的连接 操作权重参数优化问题， 通过基于梯度的优化方法， 同时求解得到最优的网络架构α'和网 络参数θ'； 从已知α'中选取每个权重向量αi,j的最大分量， 即获得对应节 点之间的唯一连接 操作； 综上， 网络架构搜索的优化目标如下： 其中， α＝{αi,j}i∈[0,N),j∈(i,N)为增强网络抗干扰能力在训练过程中引入的随机平滑函 数， θ'不再是当前α'约束 下的最优网络参数， 而 是α'近邻的最优期望损失下的网络参数； 由 此可得优化目标调整为： α'＝argmi nαlval( θ'( α ), α ) 10.根据权利要求1、 3、 9任一项所述的一种面向图像识别的网络架构搜索方法， 其特征 在于， 步骤S 3中所述在搜索过程中引入网络复杂度正则化项 具体为在 优化目标中引入网络 复杂度正则化项Ω， 并将优化目标调整为： α'＝argmi nαlval( θ'( α ), α )+λ Ω( α ) 权　利　要　求　书 2/2 页 3 CN 114612761 A 3