(19)国家知识产权局 (12)发明 专利 (10)授权公告 号 (45)授权公告日 (21)申请 号 202210536170.6 (22)申请日 2022.05.18 (65)同一申请的已公布的文献号 申请公布号 CN 114638839 A (43)申请公布日 2022.06.17 (73)专利权人 中国科学技术大学 地址 230026 安徽省合肥市包河区金寨路 96号 (72)发明人 张天柱　张哲　张勇东　罗乃淞　 吴枫　 (74)专利代理 机构 中科专利商标代理有限责任 公司 11021 专利代理师 鄢功军 (51)Int.Cl. G06T 7/10(2017.01) G06V 10/26(2022.01) G06V 10/44(2022.01) G06V 10/764(2022.01) G06V 10/82(2022.01) G06K 9/62(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01)(56)对比文件 CN 111210446 A,2020.0 5.29 CN 110942463 A,2020.0 3.31 CN 113706487 A,2021.1 1.26 CN 113763385 A,2021.12.07 CN 114266977 A,2022.04.01 CN 113920127 A,202 2.01.11 CN 113240039 A,2021.08.10 EP 39615 02 A1,202 2.03.02 CN 113177549 A,2021.07.27 US 20201 17826 A1,2020.04.16 Jiamin Wu 等.Moti on-Modulated Temporal Fra gment Al ignment Netw ork for Few-Shot Acti on Recogn ition. 《ICCV 2021 open access》 .2022,全文. Jie Liu 等.Dynamic Prototype Convolution Network for F ew-Shot Semantic Segmentati on. 《ICCV 2021 open ac cess》 .2022,全文. (续) 审查员 黄菁 (54)发明名称 基于动态原型学习的小样本视频目标分割 方法 (57)摘要 本发明公开了一种基于动态原型学习的小 样本视频目标分割方法， 包括： 获取待分割的视 频目标； 利用基于动态原型学习的小样本视频目 标分割模型处理待分割的视频目标， 获得视频目 标分割结果。 本发明提供的小样 本视频目标分割 方法， 使用最优传输方法自适应学习动态原型， 有效减少了噪声注意力， 同时采用引导的方式对 多层级特征图进行匹配， 大幅减少了计算量； 该 方法可以充分提取少量支撑集样本中的目标信 息， 显著提高在质询集视频上的分割性能。 本发明同时还公开了用于执行基于动态原型学习的 小样本视频目标分割方法的电子设备、 存储介质 以及计算机程序 产品。 [转续页] 权利要求书3页 说明书11页 附图6页 CN 114638839 B 2022.09.30 CN 114638839 B (56)对比文件 Soopil Kim 等.Uncer tainty-Aware Semi- Supervised F ew Shot Segmentati on. 《https://arxiv.org/abs/21 10.08954》 .2021,全文. 贾熹滨 等.金字 塔原型对齐的轻量级 小样 本语义分割网络. 《北京工业大 学学报》 .2021,第 47卷(第5期),全 文.2/2 页 2[接上页] CN 114638839 B1.一种基于动态 原型学习的小样本 视频目标分割方法， 包括： 获取待分割的视频目标； 利用基于动态原型学习的小样本视频目标分割模型处理所述待分割的视频目标， 获得 视频目标分割 结果， 其中， 所述基于动态原型学习的小样本视频目标分割模型 由如下方法 训练得到： 利用所述小样本视频目标分割模型的特征提取模块的部分神经网络层处理质询集视 频帧图像和支撑集视频帧图像， 得到质询视频帧低层级特 征和支撑 视频帧低层级特 征； 利用所述小样本视频目标分割模型的特征提取模块的全部神经网络层处理质询集视 频帧图像， 得到质询视频帧特 征； 对所述支撑 视频帧低层级特 征进行掩 模运算， 得到支撑 视频帧前 景特征； 利用所述小样本视频目标分割模型的挖掘模块处理所述支撑视频帧前景特征和所述 质询视频帧特 征， 得到对应关系矩阵； 利用所述小样本视频目标分割 模型的引导模块处理所述支撑视频帧低层级特征、 所述 质询视频帧低层级特 征和所述对应关系矩阵， 得到低层级对应关系矩阵； 利用所述小样本视频目标分割模型的分割模块处理所述对应关系矩阵和低层级对应 关系矩阵， 得到视频目标分割 结果， 并利用所述小样本视频目标分割模型 的损失函数优化 所述小样本 视频目标分割模型； 迭代进行特征提取操作、 掩模操作、 挖掘操作、 引导操作、 分割操作和优化操作， 直到所 述损失函数的值满足预设条件， 得到训练完成的小样本 视频目标分割模型； 其中， 所述利用所述小样本视频目标分割 模型的挖掘模块处理所述支撑视频帧前景特 征和所述质询视频帧特 征， 得到对应关系矩阵包括： 利用所述挖掘模块的原型生成器处 理所述支撑 视频帧前 景特征， 得到动态 原型特征； 将所述动态 原型特征与所述支撑 视频帧前 景特征进行运 算， 得到支撑对应关系矩阵； 将所述动态 原型特征与所述质询视频帧特 征进行运 算， 得到质询对应关系矩阵； 将所述支撑对应关系矩阵和所述质询对应关系矩阵进行运 算， 得到对应关系矩阵。 2.根据权利要求1所述的方法， 其中， 所述利用所述挖掘模块的原型生成器处理所述支 撑视频帧前 景特征， 得到动态 原型特征包括： 对所述支撑 视频帧前 景特征进行全局平均池化， 得到 视频目标原型 特征； 利用所述原型生成器将所述支撑视频帧前景特征和所述视频目标原型特征进行运算， 得到注意力矩阵； 利用最优传输算法处 理所述注意力矩阵， 得到最优分配矩阵； 将所述支撑视频帧前景特征与所述最优分配矩阵进行运算， 并将运算结果与 所述视频 目标原型 特征进行运 算， 得到动态 原型特征。 3.根据权利要求2所述的方法， 其中， 所述注意力矩阵由公式 （1） 确定：                                    （1） ， 其中， 是第 个支撑视频帧前景特征向量， 表示所述支撑视频帧前景特征向量的索权　利　要　求　书 1/3 页 2 CN 114638839 B 3