(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210108169.3 (22)申请日 2022.01.28 (71)申请人 京东鲲鹏(江苏)科技有限公司 地址 215500 江苏省苏州市 常熟市东 南街 道云深路2号 (72)发明人 徐鑫　 (74)专利代理 机构 北京品源专利代理有限公司 11332 专利代理师 高艳红 (51)Int.Cl. G06V 10/26(2022.01) G06V 10/44(2022.01) G06V 10/774(2022.01) G06V 10/82(2022.01) G06N 3/04(2006.01)G06N 3/08(2006.01) (54)发明名称 图像分割及模型训练方法、 装置、 终端设备 及存储介质 (57)摘要 本发明实施例公开了一种图像分割及模型 训练方法、 装置、 终端设备及存储介质， 该图像分 割方法包括： 通过编码器将待分割图像进行下采 样， 得到特征图像； 通过解码器将特征图像进行 上采样， 得到分割图像； 其中， 解码器中用于 上采 样的卷积核， 根据训练完毕的第一样本图像和第 二样本图像间的空间变换矩阵确定， 第一样本图 像为与卷积核对应的上采样前的图像， 第二样本 图像为与卷积核对应的上采样后的图像。 通过利 用空间变换矩阵确定用于上采样的卷积核， 能够 实现基于卷积核将低分辨率特征图像中不同通 道上的特征进行结构化特征重组， 来有效地重建 更高分辨率特征图像， 能够在保证 分割精确度的 情况下实现快速分割。 权利要求书2页 说明书16页 附图7页 CN 114445630 A 2022.05.06 CN 114445630 A 1.一种图像分割方法， 其特 征在于， 包括： 通过编码器将待分割图像进行 下采样， 得到特 征图像； 通过解码器将所述特 征图像进行 上采样， 得到分割图像； 其中， 所述解码器中用于上采样的卷积核， 根据训练完毕的第一样本 图像和第二样本 图像间的空间变换矩阵确定， 所述第一样本图像为与所述卷积核对应的上采样前 的图像， 所述第二样本图像为与所述卷积核对应的上采样后的图像。 2.根据权利要求1所述的方法， 其特 征在于， 所述卷积核基于下述 步骤确定： 利用所述空间变换矩阵将所述第二样本图像下采样至与所述第一样本图像具有相同 分辨率和相同通道数的变换图像； 对所述空间变换矩阵进行训练， 以使所述第 一样本图像和所述变换图像间的实际损失 值达到预设条件； 根据训练完毕的所述空间变换矩阵的逆矩阵确定所述卷积核。 3.根据权利要求2所述的方法， 其特征在于， 所述利用所述空间变换矩阵将所述第 二样 本图像下采样至与所述第一样本图像具有相同分辨 率和相同通道数的变换图像， 包括： 通过滑动窗口在所述第 二样本图像中滑动， 依次确定所述第 二样本图像中当前下采样 的局部图像； 将所述局部图像变形为特征向量， 根据所述空间变换矩阵将所述特征向量变换为各预 设通道的像素点； 在滑动结束的情况 下， 根据所述各 预设通道的像素点 生成变换图像； 其中， 所述滑动窗口的窗口尺寸根据由所述第 二样本图像到所述第 一样本图像的分辨 率压缩系数确定； 所述各 预设通道的通道数与所述第一样本图像的通道数相同。 4.根据权利要求1所述的方法， 其特征在于， 所述特征图像包括多个层级的特征图像； 所述通过解码器将所述特征图像进行上采样， 包括通过所述解码 器对最高层级的特征图像 进行逐层级上采样； 在所述逐层级上采样过程中， 针对 任意层级上采样过程， 包括： 基于所述卷积核对当前层级的特 征图像上采样， 得到第一待融合图像； 将所述编码器 中与所述第一待融合图像具有相同分辨率的特征图像， 作为第 二待融合 图像； 对所述第一待融合图像与 所述第二待融合图像进行融合得到 融合图像， 并根据 所述融 合图像确定新的当前层级的特 征图像。 5.根据权利要求4中所述的方法， 其特征在于， 所述对所述第 一待融合图像与 所述第二 待融合图像进行融合得到融合图像， 包括： 将所述第一待融合图像中各通道的图像进行拼接得到第 一拼接图像， 将所述第 二待融 合图像中各通道的图像进行拼接得到第二 拼接图像； 将所述第一拼接图像分别经多种扩 张率的扩 张卷积进行处理得到第 一卷积图像组， 将 所述第二 拼接图像分别经 所述多种扩张率的扩张卷积进行处 理得到第二卷积图像组； 将所述第一卷积图像组和所述第 二卷积图像组中， 与相同扩 张率的扩 张卷积对应的第 一卷积图像和第二卷积图像进行点卷积， 并将各点卷积结果进行融合得到融合图像。 6.根据权利要求4所述的方法， 其特征在于， 所述根据所述融合图像确定新的当前层级权　利　要　求　书 1/2 页 2 CN 114445630 A 2的特征图像， 包括： 将所述融合图像分别经各预设卷积得到查询矩阵、 键矩阵和值矩阵， 并根据所述查询 矩阵、 所述键矩阵和所述 值矩阵确定第一注意力特 征图； 将所述融合图像中按列 方向参数和列 方向注意力掩码构建列空间位置矩阵， 以及按行 方向参数和行 方向注意力掩码构建行空间位置矩阵； 根据所述列空间位置矩阵、 所述行空间位置矩阵、 所述查询矩阵和所述值矩阵确定第 二注意力特 征图； 根据所述第一注意力特征图和所述第二注意力特征图， 确定新的当前层级的特征图 像。 7.根据权利要求1 ‑6中任一所述的方法， 其特征在于， 应用于自动驾驶应用， 所述待分 割图像包括实时采集的道路图像。 8.一种模型训练方法， 其特 征在于， 包括： 基于第一样本图像和第 二样本图像训练空间变换矩阵， 并根据 所述空间变换矩阵对权 利要求1‑7中任一所述的卷积核进行确定； 其中所述卷积核为编码器中用于上采样的卷积 核， 所述第一样本图像为与所述卷积核对应的上采样前 的图像， 所述第二样本图像为与所 述卷积核对应的上采样后的图像； 对所述编码器中卷积核 进行固定， 并对 包含有所述编码器的图像分割模型进行训练。 9.一种图像分割装置， 其特 征在于， 包括： 下采样模块， 用以通过编码器将待分割图像进行 下采样， 得到特 征图像； 上采样模块， 用以通过解码器将所述特 征图像进行 上采样， 得到分割图像； 其中， 所述解码器中用于上采样的卷积核， 根据训练完毕的第一样本 图像和第二样本 图像间的空间变换矩阵确定， 其中所述第一样本图像为与所述卷积核对应的上采样前的图 像， 所述第二样本图像为与所述卷积核对应的上采样后的图像。 10.一种模型训练装置， 其特 征在于， 包括： 第一阶段训练模块， 用以基于第一样本 图像和第二样本 图像训练空间变换矩阵， 并根 据所述空间变换矩阵对权利要求1 ‑7中任一所述的卷积核进行确定； 其中所述卷积核为编 码器中用于上采样的卷积核， 所述第一样本图像为与所述卷积核对应的上采样前 的图像， 所述第二样本图像为与所述卷积核对应的上采样后的图像； 第二阶段训练模块， 用以对所述编码器中卷积核进行固定， 并对包含有所述编码器的 图像分割模型进行训练。 11.一种终端设备， 其特 征在于， 所述终端包括： 一个或多个处 理器； 存储器， 用于存 储一个或多个程序； 当所述一个或多个程序被所述一个或多个处理器执行， 使得所述一个或多个处理器实 现如权利要求1 ‑7任一所述的图像分割方法， 或权利要求8所述的模型训练方法。 12.一种计算机可读存储介质， 其上存储有计算机程序， 其特征在于， 该程序被处理器 执行时实现如权利要求1 ‑7任一所述的图像分割方法， 或权利要求8所述的模型训练方法。权　利　要　求　书 2/2 页 3 CN 114445630 A 3