(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211515764.5 (22)申请日 2022.11.30 (71)申请人 苏州浪潮智能科技有限公司 地址 215000 江苏省苏州市吴中经济开发 区郭巷街道官浦路1号9幢 (72)发明人 周镇镇　张潇澜　 (74)专利代理 机构 北京连和连知识产权代理有 限公司 1 1278 专利代理师 张元　杨帆 (51)Int.Cl. G06V 10/26(2022.01) G06V 10/774(2022.01) G06V 10/82(2022.01) G06V 20/70(2022.01) (54)发明名称 一种图像实例分割方法、 系统、 设备以及存 储介质 (57)摘要 本发明公开了一种图像实例分割方法、 系 统、 设备以及存储介质， 包括以下步骤： 获取已训 练的教师网络和控制器网络； 利用所述控制器网 络搜索多个解码器结构并利用每一个解码器结 构和固定的编码器构成多个分割网络架构； 利用 所述已训练的教师网络和每一个所述分割网络 架构同时进行图像实例分割正向推理， 并在每次 正向推理后使用所述已训练的教师网络的损失 函数对每一个所述分割网络架构的损失函数进 行指导并修正， 以及根据模拟退火算法从多个所 述分割网络架构中挑选若干个分割网络架构进 行全量训练并从所述若干个分割网络架构中确 定最优的分割网络架构； 利用所述最优的分割网 络架构对 待分割的图像进行图像实例分割。 权利要求书3页 说明书14页 附图6页 CN 115546492 A 2022.12.30 CN 115546492 A 1.一种图像实例分割方法， 其特 征在于， 包括以下步骤： 获取已训练的教师网络和控制器网络； 利用所述控制器网络搜索多个解码器结构并利用每一个解码器结构和固定的编码器 构成多个分割网络架构； 利用所述已训练的教师网络和每一个所述分割网络架构同时进行图像实例分割正向 推理， 并在每次正向推理后使用所述已训练的教师网络的损失函数对每一个所述分割网络 架构的损失函数进行指导并修正， 以及根据模拟退火算法从多个所述分割网络架构中挑选 若干个分割网络架构进行全量训练并从所述若干个分割网络架构中确定最优的分割网络 架构； 利用所述 最优的分割网络架构对待分割的图像进行图像实例分割。 2.如权利要求1所述的方法， 其特 征在于， 获取已训练的教师网络， 进一 步包括： 利用骨干网络以及ASPP模块构建教师网络的编码器， 其中， 所述ASPP模块包括四种不 同膨胀率的空洞卷积块和一个全局平均池化 块； 利用上采样模块、 1 ×1卷积块、 3 ×3卷积块构建教师网络的解码器， 其中， 所述教师网 络的解码器将所述骨干网络中间层输出的低级特 征图和所述AS PP模块的输出作为输入。 3.如权利要求2所述的方法， 其特 征在于， 还 包括： 构建第一训练集； 利用骨干网络以及AS PP模块对训练集中的图像进行处 理； 利用所述解码器对所述骨干网络中间层输出的低级特征图和所述ASPP模块的输出进 行处理以得到图像实例分割结果； 根据所述图像实例分割结果调整所述教师网络的编码器和解码器的参数以对所述教 师网络进行训练。 4.如权利要求3所述的方法， 其特 征在于， 还 包括： 对所述第一训练集中的数据进行 数据增强。 5.如权利要求3所述的方法， 其特征在于， 利用骨干网络以及ASPP模块对训练集中的图 像进行处 理， 进一步包括： 利用所述骨干网络提取训练集中图像的多层语义特征并利用所述ASPP模块对所述多 层语义特征以不同采样率的空洞卷积并行采样以得到五组特征图， 并将所述 五组特征图拼 接后输入到所述教师网络的解码器。 6.如权利要求3所述的方法， 其特征在于， 利用所述解码器对所述骨干网络 中间层输出 的低级特 征图和所述AS PP模块的输出进行处 理以得到图像分割结果， 进一 步包括： 利用所述上采样模块对来自所述ASPP模块的特征图进行插值上采样并利用所述1 ×1 卷积块对来自所述骨干网络中间层输出的低级特 征图进行通道降维； 将通道降维的低级特征图和线性插值上采样得到的特征图拼接， 并送入所述3 ×3卷积 块进行处理， 并再次利用所述上采样模块进 行线性插值上采样以得到所述图像实例分割结 果。 7.如权利要求6所述的方法， 其特征在于， 利用所述1 ×1卷积块对来自所述骨干网络 中 间层输出的低级特 征图进行通道降维， 进一 步包括： 将所述骨干网络中间层输出的低级特 征图的通道降到48。权　利　要　求　书 1/3 页 2 CN 115546492 A 28.如权利要求1所述的方法， 其特征在于， 所述控制器网络包括100个隐藏单元的两层 递归LSTM神经网络， 且所有隐藏单 元从均匀分布中随机初始化。 9.如权利要求1所述的方法， 其特征在于， 利用所述控制器网络搜索多个解码器结构并 利用每一个解码器结构和固定的编码器构成多个分割网络架构， 进一 步包括： 获取预设的第一 解码器块、 第二 解码器块、 第三 解码器块以及第四解码器块； 利用所述控制器网络在预设的搜索空间中搜索第五解码器块和第六解码器块的内部 结构， 以及第一解码 器块、 第二解码 器块、 第三解码 器块、 第四解码 器块、 第五解码 器块和第 六解码器块之间的连接方式。 10.如权利 要求9所述的方法， 其特征在于， 所述搜索空间包括1 ×1卷积， 3×3卷积， 3× 3可分离卷积， 5 ×5可分离卷积， 全局平均池化、 上采样、 1 ×1卷积模块， 扩张率为3的3 ×3  卷积， 扩张率为12的3 ×3卷积， 扩张率为3的可分离3 ×3卷积， 扩张率为6的可分离5 ×5卷 积， 跳跃连接， 有效地使路径无效的零操作。 11.如权利要求1所述的方法， 其特征在于， 利用所述已训练的教师网络和每一个所述 分割网络架构同时进行图像实例分割正向推理， 并在每次正向推理后， 使用所述已训练的 教师网络的损失函数对每一个所述分割网络架构的损失函数进行指导并修正， 进一步包括 利用如下公式对每一个所述分割网络架构的损失函数进行指导并修 正： 其中，LKD表示知识蒸馏网络总体损失， LStudent表示分割网络架构的损失， LTeacher表示教 师网络损失， cof f表示一个在具体的网络训练过程中可调节的参数。 12.如权利要求1 1所述的方法， 其特 征在于， 所述cof f取值为0.3。 13.如权利要求1所述的方法， 其特 征在于， 还 包括： 利用公式 计算所述分割网络架构的损失； 其 中， ｎ为不同类别实例， pixels为像素点， ytrue为对应类别的实际值， ypred为对应类型的预测 值。 14.如权利要求1所述的方法， 其特征在于， 根据模拟退火算法从多个所述分割 网络架 构中挑选若干个分割网络架构进行全量训练并从所述若干个分割网络架构中确定最优的 分割网络架构， 进一 步包括： 获取每一个分割网络架构的平均交并比、 频率加权交并比以及平均像素精度； 利用平均交并比、 频率加权交并比以及平均像素精度计算几何平均值； 根据所述几何平均值挑选若干个分割网络架构。 15.如权利要求1所述的方法， 其特征在于， 根据模拟退火算法从多个所述分割 网络架 构中挑选若干个分割网络架构进行全量训练， 进一 步包括： 根据模拟退火算法从多个所述分割 网络架构中挑选若干个分割网络架构分别进行第 一阶段的全量训练、 第二阶段的全量训练、 第三阶段的全量训练。 16.如权利要求15所述的方法， 其特征在于， 根据模拟退火算法从多个所述分割网络架权　利　要　求　书 2/3 页 3 CN 115546492 A 3