(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211063304.3 (22)申请日 2022.09.01 (71)申请人 汉斯夫 （杭州） 医学 科技有限公司 地址 310000 浙江省杭州市余杭区五常街 道文一西路1 199号1幢1717室 (72)发明人 王都洋　王艳福　李小龙　 (74)专利代理 机构 杭州天启智汇 专利代理事务 所(普通合伙) 33357 专利代理师 姜智慧 (51)Int.Cl. G06V 40/10(2022.01) G06V 10/74(2022.01) G06V 10/764(2022.01) G06V 10/774(2022.01) G06V 10/82(2022.01)G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 基于双标签级 联的齿科图像自动分类方法、 设备及介质 (57)摘要 本发明涉及图像处理技术领域， 为一种基于 双标签级联的齿科图像自动分类方法、 设备及介 质， 包括； 创建齿科图像数据集； 对齿科图像数据 集进行数据增强； 设计轻量级网络检测齿科图像 数据集的特定目标， 将图像数据分为多个类别； 分别为： 正面照、 侧面照、 口内左右侧照、 口内正 面照、 口内上下颌照、 侧位片、 全景片、 正位片、 关 节片、 小牙片； 针对口内左右侧照， 利用双标签分 类网络进行二次分类， 针对正面照、 口内上下颌 照类别， 利用目标检测进行二次分类， 得到正面 照与微笑照， 得到口内上颌照和口内下颌照； 本 发明有效解决齿科图像自动分类效果差， 分类精 确度低的问题， 在提高齿科图像自动分类精确度 的同时， 稳定 了三元组损失函数的性能。 权利要求书3页 说明书9页 附图4页 CN 115147873 A 2022.10.04 CN 115147873 A 1.一种基于双标签级联的齿科图像自动分类方法， 其特 征在于： 包括以下步骤： S1： 创建齿科图像数据集； S2： 对齿科图像数据集进行 数据增强； S3： 设计轻量级网络检测步骤S2中齿科图像数据集的特定目标， 将图像数据分为多个 类别； 分别为： 正面照、 侧面照、 口内左右侧 照、 口内正面照、 口内上下颌照、 侧位片、 全 景片、 正位片、 关节片、 小牙片； S4： 针对步骤S3输出口内左右侧照， 利用双标签分类网络进行二次分类， 得到口内左侧 照和口内右侧照； S5： 针对步骤S3输出的正面照、 口内上下颌照类别， 利用目标检测进行二次分类， 对正 面照进行分类， 得到正面照与微笑照， 对口内上下颌照进行分类， 得到口内上颌照和口内下 颌照； 其中， 所述 步骤S4具体包括： S41.构建双标签分类网络； S42.正负 样本的选择； 每 个锚点选择信息量大和代 表性的正样本和负 样本； S43.自适应三元组损失； 将相同标签的特征在空间位置上靠近， 不同标签的特征在空 间位置上远离 。 2.根据权利要求1所述的一种基于双标签级联的齿科图像自动分类方法， 其特征在于， 所述步骤S1具体包括： S11.齿科图像数据集组成： 将实际拍摄到的齿科图像分为多个类别， 将多个类别划分 为单标签以及 双标签， 双标签为对特殊图像数据进行额外的标注类别； S12.齿科 图像数据集标注： 对齿科图像按照目标检测进行标注， 使用labelimg标注工 具进行标注； S13： 齿科图像数据集划分： 齿科图像数据 集按照8:1:1的比例划分为训练集、 验证集和 测试集。 3.根据权利要求1所述的一种基于双标签级联的齿科图像自动分类方法， 其特征在于， 所述步骤S2中的数据增强具体为： 对齿科图像数据集进行左右镜像调整或光照、 对比度调 整。 4.根据权利要求1所述的一种基于双标签级联的齿科图像自动分类方法， 其特征在于： 所述S3具体包括： S31.设计轻量级网络： 模型由10层卷积层组成， 利用常规卷积和深度可分离卷积； S32.类别平衡损失函数： 使用CB ‑Focal Loss处理类别不平衡问题， CB ‑Focal Loss公 式如下： 其中， 是类别 的真实样本数量， 和 都为权重参数， 为网络预测的概 率值； S33.模型初始化： 使用在Ima geNet数据集上训练的VG G 16权重初始化。 5.根据权利要求1所述的一种基于双标签级联的齿科图像自动分类方法， 其特征在于：权　利　要　求　书 1/3 页 2 CN 115147873 A 2所述S42具体包括： S421.评估齿科图像的信息量; S422.在信息量 最大的正样本和负 样本中， 选择 具有代表性的样本构建三元组； S423.对于每一张图像 ， 相对于锚点 的信息量得分 表示 是否是候选 的正样本和 表示 是否是候选的负 样本， 计算公式如下： 其中，  表示图像 和 之间的类标签相似度， 使用pair ‑wise similarity 距离计算， 表示图像 和 之间的困难度， 用两者的嵌入空间的欧式距离计算。 6.根据权利要求1所述的一种基于双标签级联的齿科图像自动分类方法， 其特征在于： 所述步骤S43具体包括： S431.将相同标签的特征在空间位置上靠近， 不同标签的特征在空间位置上远离， 对同 一类的两个正例和一个负例， 负例比正例的距离 至少远距离项； 公式表达如下： 其中， 表示与0比较取最大值， 、 和 分别代表锚点、 正样本和负样本， 表示距 离项； S432.在正样本和负样本对之间的设一个阈值， 即 ， 其中， 表示角度， ， 即 ， 自适应三元组损失函数为： 其中， 为超参数， 表示为严格边距项， 表示松弛边距项。 7.根据权利要求1所述的一种基于双标签级联的齿科图像自动分类方法， 其特征在于： 所述步骤S5具体包括： S51.目标检测网络； 将NanoDet做为检测网络， 选择使用ShuffleNetV2作为backbone， 去掉最后一层卷积， 且抽取8、 16、 32倍下采样的特 征输入进PAN做多尺度的特 征融合； S52.目标检测损失函数； 选择General ized Focal Loss对网络进行训练； S53.目标检测训练； 利用了双标签进行训练。 8.根据权利要求1所述的一种基于双标签级联的齿科图像自动分类方法， 其特征在于： 所述步骤S52所采用的公式为： 其中， 为0~1的真实标签， 为预测值， 。 9.一种电子设备， 其特 征在于， 包括：权　利　要　求　书 2/3 页 3 CN 115147873 A 3