(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210723240.9 (22)申请日 2022.06.24 (71)申请人 中国人民解 放军国防科技大 学 地址 210000 江苏省南京市秦淮区后标营 18号 (72)发明人 张骁雄　周晓磊　严浩　范强　 王芳潇　江春　 (74)专利代理 机构 南京华鑫君辉专利代理有限 公司 3254 4 专利代理师 王方超 (51)Int.Cl. G06F 16/28(2019.01) G06F 16/25(2019.01) G06K 9/62(2022.01) G06N 3/04(2006.01)G06N 3/08(2006.01) (54)发明名称 一种标签及标签实例推荐方法 (57)摘要 本发明涉及一种标签及标签实例推荐 方法， 属于计算机数据处理技术领域。 针对海量试验数 据标签管 理及标签管理智能化的问题， 本发明提 出一种标签及标签实例推荐 方法。 该方法主要包 括： 采集结构化、 非结构化数据以及半结构化数 据， 根据试验数据类型， 构建本体概念， 形成标签 库； 接着， 对图像、 文本、 音频、 视频、 纸质等多模 态数据采用不同方法进行装备实体以及实体关 系抽取， 构建标签实例库； 利用规则映射和自然 语言处理等方法对标签与标签实例进行关系映 射； 最后， 挖掘用户个人信息以及使用标签信息， 结合个人信息以及标签信息， 形成基于标签及标 签实例的智能推荐。 权利要求书3页 说明书8页 附图3页 CN 115203338 A 2022.10.18 CN 115203338 A 1.一种标签及标签实例推荐方法,其特 征在于， 包括以下步骤： 步骤SS1： 标签本体概念构建， 包括： 采集试验的结构化数据、 非结构化数据以及半结构 化数据， 根据试验数据类型， 构建本体概念， 形成标签库； 步骤SS2： 标签实体特征提取， 包括： 对多模态数据采用不同方法进行装备实体以及实 体关系抽取， 构建标签实例库， 所述多模态数据包括图像数据、 文本数据、 音 频数据、 视频数 据和纸质数据； 步骤SS3： 标签与标签实例映射， 包括： 利用规则映射和自然语言处理方法对标签与标 签实例进行关系映射； 步骤SS4： 生成基于用户信息的标签及标签实例推荐， 包括： 挖掘用户个人信息以及使 用标签信息， 结合个人信息以及标签信息， 形成基于标签及标签实例的智能推荐。 2.根据权利要求1所述的一种标签及标签实例推荐方法， 其特征在于， 所述步骤SS1具 体包括如下步骤： 步骤S11： 采集试验数据， 包括： 面向试验数据主要通过纸质数据方式、 电子文件方式、 结构化数据方式， 根据不同的数据来源， 设计不同的数据采集方法， 提取结构化数据、 非结 构化数据以及半结构化数据； 提取各样数据中的数据要 素， 所述数据要 素包括装 备标识、 装 备名称、 试验数据采集时间、 试验 任务相关信息； 步骤S12： 构建本体标签库， 包括： 构建本体库时， 采用树形图对采集到的试验数据类型 和属性进 行分类， 构建被试装备、 试验装备、 陪试装备、 试验任务和试验 人员本体概念， 创建 标签库。 3.根据权利要求1所述的一种标签及标签实例推荐方法， 其特征在于， 所述步骤SS2具 体包括： 针对所述图像数据， 采用基于改进的卷积神经网络模 型的图像目标识别算法， 首先 将原始图像中的装 备目标进行标记， 并转换为224*22 4的标准图像， 输入到卷积神经网络模 型中， 进行图像特征提取， 在每卷积层以及Inception层的出口添加一个SE模块更新图像特 征参数的权重， 接着 接入池化层对 卷积层和Incept ion层输出的特征进行降维处理， 将池化 操作输出的结果输入到全连接层中转化为一维向量， 最终输入至softMax分类器中输出识 别结果， 通过使用改进的卷积神经网络模型 的图像识别模型， 识别出图片 中的装备类型以 及装备在图片中的位置， 进行图片的实体标记。 4.根据权利要求1所述的一种标签及标签实例推荐方法， 其特征在于， 所述步骤SS2具 体包括： 针对 所述文本数据， 使用深度学习方法， 对文本中的实体进 行识别， 首先， 整理包含 名词的词典， 所述名词包含国家、 重要 人物名称以及 装备名称， 构成领域词典； 然后， 选取一 些包含本体概念的文本进行标注， 标注出国家， 装备、 以及重要人物的名词， 使用中文词典 和深度学习网络LSTM ‑CRF模型， 对已经标注的数据进 行模型训练， 将训练好的模 型， 对大规 模文本信息进行实体识别； 使用关键词抽取模型以及设定规则的关系抽取模型， 获取出文 本中已经抽取出 的实体与实体之间的关系 特征， 从而获取到文本中的实体与关系信息， 构 建标签实例库。 5.根据权利要求1所述的一种标签及标签实例推荐方法， 其特征在于， 所述步骤SS2具 体包括： 针对所述音频数据， 将获取到的试验音频数据， 获取音频的时间长度、 比特率以及 采样率， 使用卷积神经网络捕获音频在不同频域的响度随时间变化的特征， 使用SVM支持向 量机的分类方法， 对音频 数据进行分类， 从而识别标实体信息 。权　利　要　求　书 1/3 页 2 CN 115203338 A 26.根据权利要求1所述的一种标签及标签实例推荐方法， 其特征在于， 所述步骤SS2具 体包括： 针对 所述视频数据， 将获取到的视频数据， 获取视频数据的时间长度， 编 码格式、 编 码标准以及比特率特征， 同时， 使用基于聚类的方法对视频数据进 行关键帧提取， 提取视频 中的实体， 针对通用视频中的关键帧提取， 使用基于聚类的方法， 利用视频帧之 间的相似度 将视频帧进行分组， 使得类似的视频帧成为一个簇， 从而使视频数据划分为一个一个的聚 类， 聚类内部的视频帧内容上相似， 而聚类间的视频帧在内容上有很大差别， 最后将 每个聚 类中最靠 近聚类中心的视频帧加入结果 集； 对于运动类视频的关键帧提取， 使用融合多路特征和注意力 机制的强化学习关键帧提 取算法， 使得提取过程无须镜头分割和人工提取特征， 该强化学习关键帧提取算法从融合 特征入手， 首先使用深度神经网络提取视频帧中的运动特征和静态特征， 并对其进 行融合， 然后使用自注意力模型提取视频序列的全局特征， 随后根据全局特征计算各个视频帧的重 要性程度， 从而获取到 视频中的关键帧。 7.根据权利要求1所述的一种标签及标签实例推荐方法， 其特征在于， 所述步骤SS2具 体包括： 针对数据来源是所述纸质数据， 使用光学字符识别OCR算法， 对文本资料的图像文 件进行分析识别处理， 获取文字及版面信息的过程， 将图像中的文字进 行识别， 并以文本的 形式返回， 使用基于CRNN的深度学习模 型， 利用卷积神经网络CNN做图像特征工程的潜力与 长短时记忆网络LSTM做序列化识别的潜力相结合， 既提取鲁棒特征， 又通过序列识别避免 传统算法中难度极高的单字符切分与单字符识别， 同时序列化识别也嵌入时序依赖， 能够 将纸质文字通过OCR技术转换为文本数据， 再通过文字识别技术， 对识别出的文本进 行实体 识别， 关键词抽取以及实体关系抽取， 获取到纸质数据中的实体和实体关系信息 。 8.根据权利要求1所述的一种标签及标签实例推荐方法， 其特征在于， 所述步骤SS3具 体包括： 通过构建本体概念， 构建标签概念， 通过多对抽取到的图像、 视频、 文本、 音频、 纸质 数据特征， 获取实体信息， 从而构建标签实例， 基于本体概念模型， 采用多 策略综合的方法， 包括基于规则映射的映射方法和基于语义的映射方法， 从各类形式的数据中， 进行标签与 标签实例映射， 获取到<标签1 ‑关系‑标签2>和<标签1 ‑关系‑标签实例>的三元 组信息， 并填 充到当前的本体映射中； 所述基于规则映射的映射方法包括： 使用关联规则挖掘方法， 筛选基于标签本体概念 和标签实例关系程度高的标签实例， 将其填充到规则模型中， 利用监督学习的支持向量机 模型， 对待挖掘的标签与标签实例进行映射关系预测， 最后， 通过人工核查预测结果， 将预 测出正确的每一个标签下对应的标签实例， 丰富到属性 集中； 所述基于语义的映射方法包括： 针对无法使用关联规则提取的属性， 利用提取句子之 间的句法关系和词 与词之间的语义关系的方法， 使用基于RoBERTa与实体边界预测模 型， 所 述预测模型包括文本编码层、 实体边界预测层、 BiLSTM_CRF属性预测层， 首先通过RoBERTa 对输入文本进行编码， 获取其隐含层状态向量， 然后将所述隐含层状态向量分别输入实体 边界预测层与BiLSTM_CRF属性预测层， 在实体边界预测层， 采用0/1编码的方式分别进 行实 体头部与实体尾部的标注， 然后计算两个序列标注的损失值start_loss与end_loss， 在 BiLSTM_CRF属性预测层， 将实体边界预测层的输出结果作为特征与文本向量拼接， 输入至 BiLSTM_CRF对文本属性标签进行预测， 然后计算其损失值att_loss， 最后， 在模型优化时， 综合考虑损失值 start_loss、 损失值end_loss和损失值att_loss， 进行加权求和， 通过反向权　利　要　求　书 2/3 页 3 CN 115203338 A 3