(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210504422.7 (22)申请日 2022.05.10 (71)申请人 山东大学 地址 250100 山东省济南市历城区山大南 路27号 (72)发明人 鹿旭东　马交国　刘凯　葛小琛　 杨哲　郭伟　崔立真　 (74)专利代理 机构 济南圣达知识产权代理有限 公司 372 21 专利代理师 赵妍 (51)Int.Cl. G06V 30/148(2022.01) G06V 10/82(2022.01) G06N 3/04(2006.01) G06F 40/289(2020.01)G06F 16/2455(2019.01) G06T 7/194(2017.01) G06T 7/136(2017.01) G06T 5/00(2006.01) G06T 3/60(2006.01) (54)发明名称 一种基于深度学习的多模态搜题方法及系 统 (57)摘要 本发明提供了一种基于深度学习的多模态 搜题方法及系统， 包括： 获取待搜索的试题图片； 对试题图片进行预处理后， 输入神经网络， 识别 出试题图片的文本信息； 将文本信息分割为若干 个关键词， 将每个 关键词与题库中的题目进行匹 配， 将题库中的匹配成功次数最多的题目， 作为 与所述待搜索的试题图片匹配的题目。 提高了与 题库中题目匹配的正确率， 更加适用于数学公式 及图片比较多的试题。 权利要求书2页 说明书7页 附图1页 CN 114943975 A 2022.08.26 CN 114943975 A 1.一种基于深度学习的多模态搜题方法， 其特 征在于， 包括： 获取待搜索的试题图片； 对试题图片进行 预处理后， 输入神经网络， 识别出 试题图片的文本信息； 将文本信息分割为若干个关键词， 将每个关键词与题库中的题目进行匹配， 将题库中 的匹配成功次数最多的题目， 作为与所述待搜索的试题图片匹配的题目。 2.如权利要求1所述的一种基于深度 学习的多模态搜题方法， 其特征在于， 所述预处理 为对试题图片依次进行 灰度化、 二 值化、 去噪和倾 斜校正。 3.如权利要求2所述的一种基于深度 学习的多模态搜题方法， 其特征在于， 所述去噪的 具体方法为： 对于灰度化图像， 选取若干个分割阈值； 对于每个分割阈值， 计算类间方差值； 选取使类间方差值最大的分割阈值， 将灰度化图像分割为前景和背景， 得到二值化图 像。 4.如权利要求2所述的一种基于深度 学习的多模态搜题方法， 其特征在于， 所述倾斜校 正的方法为： (1)将去噪后图片按照横向或纵向划分成若干个子块图像； (2)寻找并记录每一子块图像的边界的位置信息； (3)基于边界的位置信息， 计算图像的倾斜角度， 并对去噪后图片进行校正， 得到校正 图片； (4)计算校正精确度， 更新子块图像数量后， 重复步骤(1) ‑(3)， 迭代若干次后， 选取最 高校正精确度对应的校正图片作为预处 理后试题图片。 5.如权利要求1所述的一种基于深度 学习的多模态搜题方法， 其特征在于， 所述神经网 络由卷积层、 循环层和转录层组成； 所述卷积层用于提取 预处理后试题图片的特 征序列； 所述循环层用于获取 特征序列的标签分布； 所述转录层基于标签分布， 识别出文本信息 。 6.一种基于深度学习的多模态搜题系统， 其特 征在于， 包括： 试题图片获取模块， 其被 配置为： 获取待搜索的试题图片； 识别模块， 其被配置为： 对试题图片进行预处理后， 输入神经网络， 识别出试题图片的 文本信息； 搜题模块， 其被配置为： 将文本信 息分割为若干个关键词， 将每个关键词与题库中的题 目进行匹配， 将题库中的匹配成功 次数最多的题目， 作为与所述待搜索的试题图片匹配的 题目。 7.如权利要求6所述的一种基于深度 学习的多模态搜题系统， 其特征在于， 所述预处理 为对试题图片依次进行 灰度化、 二 值化、 去噪和倾 斜校正。 8.如权利要求6所述的一种基于深度 学习的多模态搜题系统， 其特征在于， 所述神经网 络由卷积层、 循环层和转录层组成； 所述卷积层用于提取 预处理后试题图片的特 征序列； 所述循环层用于获取 特征序列的标签分布；权　利　要　求　书 1/2 页 2 CN 114943975 A 2所述转录层基于标签分布， 识别出文本信息 。 9.一种计算机可读存储介质， 其上存储有计算机程序， 其特征在于， 该程序被处理器执 行时实现如权利要求1 ‑5中任一项所述的一种基于深度学习的多模态搜题方法中的步骤。 10.一种计算机设备， 包括存储器、 处理器及存储在存储器上并可在处理器上运行的计 算机程序， 其特征在于， 所述处理器执行所述程序时实现如权利要求 1‑5中任一项 所述的一 种基于深度学习的多模态搜题方法中的步骤。权　利　要　求　书 2/2 页 3 CN 114943975 A 3