(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211054633.1 (22)申请日 2022.08.31 (71)申请人 华南师范大学 地址 510000 广东省广州市中山大道西5 5 号 (72)发明人 陈文韬　蔡倩华　 (74)专利代理 机构 广州海藻专利代理事务所 (普通合伙) 44386 专利代理师 郑凤姣 (51)Int.Cl. G06F 16/332(2019.01) G06F 16/33(2019.01) G06F 16/35(2019.01) G06F 40/194(2020.01) G06F 40/30(2020.01)G06V 10/44(2022.01) G06V 10/74(2022.01) G06V 10/764(2022.01) G06V 10/774(2022.01) G06V 10/82(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 一种基于多模态情感分析的相似识别方法 (57)摘要 本申请提供一种基于多模态情感分析的相 似识别方法， 包括： 获取AR投影学习机中的教学 内容， 判断教学内容中的图像信息是否相似， 如 果相似再进一步判断是否存在歧义内容； 当图像 存在歧义时， 进一步对教学内容中的语音信息进 行语音检测， 判别具体包括:根据教学内容的情 感倾向性， 根据教学者的解答内容进行教学内容 情感检测， 判断是否存在正面内容被共创者负面 解读； 根据教学者的解答内容的多模态共创内容 指标， 并根据解答内容是否也存在歧义， 构建预 测模型评价解答内容； 根据解答内容的情感强度 检测结果优先推荐给用户， 并调整预测模型； 根 据用户标注的歧义内容的推荐系数， 完成解答内 容匹配。 权利要求书4页 说明书10页 附图3页 CN 115544226 A 2022.12.30 CN 115544226 A 1.一种基于多模态情感分析的相似识别方法， 其特 征在于， 所述方法包括： 获取AR投影学习机中的教学内容， 判断教学内容中的图像信息是否相似， 如果相似再 进一步判断是否存在 歧义内容， 所述获取AR投影学习机中的教学内容， 判断教学内容中的 图像信息是否相似， 如果相似再进一步判断是否存在 歧义内容， 具体包括： 基于图像信息， 判断图像内容相似度， 基于图像特征信息， 判别相似图像是否存在歧义； 当图像存在歧义 时， 进一步对教学内容中的语音信息进行语音检测， 判别所述图像对应的语音信息是否也 为相似但不存在歧义， 还是相似但存在歧义； 当图像和语音都具有较大相似性和歧义时， 对 教学内容的文字信息进行文字检测， 判别文字信息是否也为相似文字且存在 歧义内容； 当 判断出图像语音和文字中， 有一种存在无歧的内容时， 放弃标识该内容为自定义教学内容， 只针对教学内容中图像信息、 语音信息与文字信息的相似且存在歧义的判断结果进行标 识； 根据教学者的情感导向、 解答能力与学历分配需要解答的相似但存在歧义的内容， 具体 包括： 根据教学内容的情感倾向性， 根据教学者的解答内容进 行教学内容情感检测， 判断是 否存在正面内容被共创者负面解读； 根据教学者的解答内容的多模态共创内容指标， 并根 据解答内容是否也存在歧义， 构建预测模型评价解答内容， 所述根据教学者的解答内容的 多模态共创内容指标， 并根据解答内容是否也存在歧义， 构建预测模 型评价解答内容， 具体 包括： 将人工标注的歧义内容与教学者的解答内容进 行聚类匹配， 得到目标解答内容集， 构 建用户偏好模型， 根据教学者的解答内容得到用户偏好分数； 根据解答内容的情感强度检 测结果优 先推荐给用户， 并调整 预测模型； 根据用户标注的歧义内容的推荐系数， 完成解答 内容匹配。 2.根据权利要求1所述的方法， 其中， 所述获取AR投影学习机中的教学内容， 判断教学 内容中的图像信息是否相似， 如果相似再进一 步判断是否存在歧义内容， 包括: 通过AR投影学习机获取教学内容， 将教学内容中图像信息对应特征进行识别分类,通 过图像识别模块识别物体身份和物体动作； 其中， 物体身份特征 由图像色块与图像方差构 成， 物体动作由图像轮廓构成； 通过提取教学内容中的图像信息， 对图像中的信息进 行相似 度判别， 如果相似， 进一步将图像信息 分为相似但无歧义内容、 相似且存在歧义内容； 其中， 对图像识别不同信息会进行差异化标注， 且对相似且存在歧义信息的内容进行进一步识 别； 包括： 基于图像信息， 判断图像内容相似度； 基于图像特征信息， 判别相似图像是否存在 歧义； 所述基于图像信息， 判断图像内容相似度， 具体包括: 图像相似判断指标包括图像方差、 图像轮廓、 色块差异； 获取图像相似判断指标获取教 学内容中的图像信息， 对图像进 行灰度处理， 将 每一行的平均像素值作为物体的特征值， 计 算图像中不同物体的特征方差， 获取图像中物体之 间的差异； 基于CNN卷积神经网络构建轮 廓识别模型， 实现对图像中物体轮廓的提取， 通过计算不同物体之间的Hu矩， 获得图像中不 同物体轮廓区别特征； 将图像中出现的物体图像进 行分割， 获得不同物体之 间的图像方块， 基于OpenCV获取绘本物体间的色块， 进 行比对获取不同的色块数量， 作为色块差异； 构建图 像相似度模型， S＝W*Xi,其中i＝1,2,3,X1为图像方差、 X2为Hu矩、 X3为色块差异， W为图像 相似度的权重； 运用sigmoid函数进行相似度计算， 将图像相似度结果转化为区间0到1的数 值， 当图像相似度大于预设的图像相似阈值时， 判定图像为相似； 所述基于图像特 征信息， 判别相似图像是否存在歧义， 具体包括:权　利　要　求　书 1/4 页 2 CN 115544226 A 2获取被图像相似度模型判别为相似的图像信 息， 将图像信 息进行预处理与 人工特征标 注； 将图像信息导入基于神经网络的有监督模式识别方法构建图像歧义判别模型； 将信息 分类为植物、 食物、 动物、 人物、 器物五类作为样 本数据， 按照样本数据的类别分别对图像信 息进行特征提取得到数据集； 将数据集分为训练集与测试集， 获取用户在AR投影学习机中 实时标注的歧义内容特征， 赋予这些数据分类为易造成儿童误解的数据与不易造成儿童误 解的数据的第一标签； 然后将第一标签输入分类器， 训练分类器预测学习第一标签的样本 具有图像特征， 建立分类标准； 最后将测试集输入分类器， 对 数据分类为相似且存在歧义与 相似但无歧义， 根据预测结果与实际结果比对， 反向传播调整分类器参数， 优化分类器， 完 成图像歧义判别模型的构建； 通过图像歧义判别模型判断数据是否相似 且存在歧义。 3.根据权利要求1所述的方法， 其中， 所述当图像存在歧义时， 进一步对教学内容中的 语音信息进行语音检测， 判别所述图像对应的语音信息是否也为相似但不存在 歧义， 还是 相似但存在歧义， 包括: 当识别出图像存在歧义后， 进一步的获取该图像对应的语音信息； 通过语音识别获取 教学内容中每个字的语音信息， 其中语音信息包括字母、 声调 与声调所在字母的位置； 将字 与字之间字母信息进 行首字母对齐， 当字与字之间字母信息相同时， 用第一特征值标记， 作 为字母相似指标， 当字与字之间的声调相同时， 用第二特征值标记， 作为声调相似指标， 当 声调所处字母的位置相同时， 用第三特征值标记， 作为声调位置相似指标； 将教学内容中字 与字之间语音信息 分为一个数据， 将教学内容中所有字与字之 间比对的语音信息数据分为 训练集与测试集， 人工 分类为语音信息相似与语音信息不相似的数据； 将字母相似指标、 声 调相似指标与声调位置相似指标， 输入有监督学习的逻辑回归模型， 训练逻辑回归模型， 预 测语音信息是否相似， 将预测结果与测试结果比对， 调整逻辑回归模 型模型参数， 优化逻辑 回归模型； 当语音信息经过逻辑回归模型判断语音信息存在相似时， 对语音信息进行是否 存在歧义判别， 运用AR学习机提取教学内容中的文字信息， 与语音信息进 行对应匹配， 通过 文字信息中的上下文， 基于词典， 进行语义识别； 将基于词典进行语义识别后的解释信息， 运用one‑hot编码对语义进行向量化， 将语义信息分类为语义歧义与 非语义歧义数据的语 义歧义标签； 然后将语义歧义标签输入分类器， 训练分类器预测学习标签样本的语义文字 特征， 建立分类标准； 最后 将语音测试集输入分类器， 语音测试集分类为语义歧义与非语义 歧义， 根据预测结果与实际结果比对， 反向传播调整分类器参数， 优化分类器， 完成语义歧 义模型的构建。 4.根据权利要求1所述的方法， 其中， 所述当图像和语音都具有较大相似性和歧义时， 对教学内容的文字信息进行文字检测， 判别文字信息是否也为相似文字且存在 歧义内容， 包括: 当教学内容中的图像和语音都存在歧义时， 提取教学内容的文字信息， 基于CNN卷积神 经网络模 型构建语义相似模型， 提取文字信息中形态特征进 行预处理， 导入进 行训练， 判别 文字信息之间是否相似； 当语义相似模型判别文字信息为相似时， 加入教学内容中上下文 的文字信息， 结合上下文信息基于词典， 进行语义识别， 导入语义歧义模型， 判别文字信息 是否存在歧义； 将语义歧义模型判别的结果分类为相似文字信息存在歧义与相似文字信息 但无歧义。 5.