(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211155631.1 (22)申请日 2022.09.22 (71)申请人 上海可明科技有限公司 地址 201199 上海市闵行区凯德 商务楼 1607-1609室 (72)发明人 王海峰　关思宇　孙志强　蒋文波　 (74)专利代理 机构 北京保识知识产权代理事务 所(普通合伙) 11874 专利代理师 黄骏 (51)Int.Cl. G06V 10/774(2022.01) G06V 10/82(2022.01) G06N 3/08(2006.01) G06N 3/04(2006.01) (54)发明名称 一种基于深度学习的手术器械仓储环境清 点模型压缩方法 (57)摘要 本发明公开了一种基于深度学习的手术器 械仓储环 境清点模型压缩 方法， 属于目标检测技 术领域。 一种基于深度学习的手术器械仓储环境 清点模型压缩方法， 包括以下步骤S1、 对手术器 械进行拍照采集数据， 形成数据集， 并根据要求 对数据集中的照片进行标签标注； S2、 对数据集 划分为训练集、 验证集和测试集， 同时在训练前 对数据进行数据增强预处理； S3、 针对Swin   transformer模型进行轻量化结构设计， 降低 Swin transformer模型所需的内存和运算量， 实 现模型的压缩； S4、 将目标检测模型代码封装好， 然后将数据集输入模型中进行训练。 本发明基于 Swin Transformer的目标检测模型进行模型压 缩， 能够在减少运算量和参数量的前提下保证模 型的精度。 权利要求书2页 说明书5页 附图2页 CN 115496964 A 2022.12.20 CN 115496964 A 1.一种基于深度学习的手术器械仓储环境清点模型压缩方法， 其特征在于， 包括以下 步骤： S1、 手术器械数据采集与标注： 对手术器械进行拍照采集数据， 形成数据集， 并根据要 求对数据集中的照片进行 标签标注； S2、 数据集划分与数据增 强： 对S1中所得的数据集划分为训练集、 验证集和测试集， 同 时在训练前对数据进行 数据增强预处 理； S3、 目标检测模型轻量化设计： 针对Swin  transformer模型进行轻量化结构设计， 降低 Swin transformer模型 所需的内存和运 算量， 实现模型的压缩； S4、 目标检测模型训练： 将S3中经过轻量化设计的目标检测模型代码封装好， 然后将数 据集输入模型中进 行训练， 在预先设定的模型训练波次结束后， 保存精度最高模 型参数， 用 于仓储环境下手术器械的清点。 2.根据权利要求1所述的一种基于深度学习的手术器械仓储环境清点模型压缩方法， 其特征在于， 所述S1在进行拍照数据采集时， 将所有待检测的手术器械分别按照同类型器 械紧靠摆放、 同类型器械交叉摆放， 不同类型紧靠摆放， 不同类型器械交叉摆放、 所有器件 交叉紧靠混合摆放五种摆放方式依 次摆放， 用于模拟实际应用中各种复杂情况， 确保图像 信息采集的丰富 性和平衡性。 3.根据权利要求1所述的一种基于深度学习的手术器械仓储环境清点模型压缩方法， 其特征在于， 所述S1中提到的照片标签标注工作， 具体包括以下步骤： A1、 将采集过图像数据的手术器械设定标签名； A2、 将所有采集到的手术器械图片输入到图像标注软件中； A3、 利用标注软件将每一张图像中的所有手术器械使用矩形框标注， 即每一张图像中 的所有手术器械使用矩形描绘出器械轮廓， 矩形轮廓标注满足目标检测模 型训练所需的信 息， 然后标记上 所对应的标签名； A4、 完成标记后， 将相对应的标签名、 图片名和矩形轮廓和位置信息均保存在JS ON类型 文件中， 其中矩形轮廓位置信息是通过在整张图像上建立坐标系， 记录多边形每个顶点的x 轴和y轴坐标。 4.根据权利要求1所述的一种基于深度学习的手术器械仓储环境清点模型压缩方法， 其特征在于， 所述S2 中提到的训练集、 验证集和测试集之间的比例为7:2:1； 所述训练集用 于训练网络； 所述验证集用于训练过程验证模型检测效果， 并根据效果调整模型的超参数； 所述测试集用于模型效果测试。 5.根据权利要求1所述的一种基于深度学习的手术器械仓储环境清点模型压缩方法， 其特征在于， 所述S2 中提到的数据增强预处理的具体增强方式为Mosaic数据增强， 即将多 张图像随机缩放、 裁 剪和排布在一 起， 增强模型的泛化 性。 6.根据权利要求1所述的一种基于深度学习的手术器械仓储环境清点模型压缩方法， 其特征在于， 所述S3中提到的目标检测模型 轻量化设计， 具体包括以下内容： B1、 给定一批手术器械图像集 合， 对集合中输入的图像进行Patc hEmdeding操作； B2、 通过全连接层对图像进行转化， 然后将转化后的图像输入由5个Swin  Transformer   Block组成的特 征提取模块， 利用特 征提取模块将输入特 征图等划分为无重 叠的数个窗口； B3、 在每个窗口内单独进行自注意力计算， 特征提取模块中其他结构与ViT模型相同，权　利　要　求　书 1/2 页 2 CN 115496964 A 2包含层归一 化、 全连接层和残差连接； B4、 将Swin  transformer串联的特征提取模块进行连接方式的修改， 增加并联连接， 增 大网络的宽度， 同时引入不同尺寸的窗口划分， 形成层次性结构， 将不同层次的输入作为 Faster R‑CNN的FPN结构的输入； B5、 通过Faster R‑CNN进行最后的目标检测， 生成相应的预测框和置信度。 7.根据权利要求6所述的一种基于深度学习的手术器械仓储环境清点模型压缩方法， 其特征在于， 所述B1 中提到的对集合中输入的图像进行PatchEmdeding操作， 具体包括以下 内容： C1、 使用网格划分工具将图片等尺寸划分为无重 叠的若干块； C2、 在自注意力运算的时候， 将C1中所得的块转化为48个RGB像素的串联， 等效于 Transformer中的to ken。 8.根据权利要求6所述的一种基于深度学习的手术器械仓储环境清点模型压缩方法， 其特征在于， 所述B4中提到的引入不同尺寸的窗口划分， 具体包括以下内容： 将两个不同窗口尺寸分支输出的结构进行Concat操作， 然后连接一个池化层， 取代原 来的Patc hEmerging层， 使特 征图的感受野和通道数增大， 形成层次性结构。权　利　要　求　书 2/2 页 3 CN 115496964 A 3