(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211388301.7 (22)申请日 2022.11.08 (71)申请人 杭州觅睿 科技股份有限公司 地址 310052 浙江省杭州市滨江区西兴街 道楚天路91号1栋4楼 ;2栋2,3,4楼 (72)发明人 赵刚强　金伟　应红力　 (74)专利代理 机构 北京集佳知识产权代理有限 公司 11227 专利代理师 崔俊红 (51)Int.Cl. G06V 10/80(2022.01) G06V 10/82(2022.01) G06V 10/774(2022.01) G06V 10/764(2022.01) G06T 7/73(2017.01)G01W 1/10(2006.01) (54)发明名称 一种天气预报方法、 系统、 装置及可读存储 介质 (57)摘要 本申请公开了一种天气预报方法、 系统、 装 置及可读存储介质， 涉及天气预报技术领域。 该 方案中， 获取当前位置与天气相关的多模态数 据， 对多模态数据中的特征进行提取， 得到多模 态特征； 对多模态特征建立模型； 对模型进行分 析， 以得到与当前位置对应的天气预报结果， 其 中多模态数据包括当前位置的图像数据和/或音 频数据及天气预报文本数据。 本申请中， 基于天 气预报中心的天气预报文本数据以及与当前位 置对应的图像数据和/或音频数据建立模型， 得 到与当前位置对应的天气预报结果， 而不单单是 基于国家天气预报中心的天气预报文本数据得 到的天气预报结果， 使用本申请中的方式得到的 当前位置的天气预报结果更加精 准， 可提高天气 预报结果的准确性。 权利要求书2页 说明书8页 附图2页 CN 115439727 A 2022.12.06 CN 115439727 A 1.一种天气预报方法， 其特 征在于， 包括： 获取当前位置与天气相关的多模态数据， 所述多模态数据包括当前位置的图像数据 和/或音频 数据及天气预报文本数据； 对所述多模态数据中的特 征进行提取， 得到多模态特 征； 对所述多模态特 征建立模型； 对所述模型进行分析， 以得到与所述当前位置对应的天气预报结果。 2.如权利要求1所述的天气预报方法， 其特征在于， 获取当前位置与天气相关的多模态 数据， 包括： 获取设置 于所述当前位置的摄 像装置发送的图像数据和/或音频 数据； 和/或， 获取从所述国家天气预报中心获取到的所述当前位置所在区域的天气预报数 据； 所述天气预报数据包括天气类别、 温度、 湿度、 风力等级、 能见度及空气质量中一种或 多种的组合。 3.如权利要求2所述的天气预报方法， 其特征在于， 所述图像数据包括摄像装置拍摄的 彩色图像及与运动图像， 还 包括： 通过频谱分析将所述音频 数据转换为与所述彩色图像的大小相同的频谱图像。 4.如权利要求2所述的天气预报方法， 其特征在于， 获取当前位置与天气相关的多模态 数据之前， 还 包括： 根据所述国家天气预报中心的信息及所述当前位置确定当前位置所在区域； 获取当前位置所在区域的多个所述摄 像装置发送的所述图像数据及所述音频 数据； 分别根据每个所述摄像装置发送的所述图像数据、 所述音频数据使用预设天气类别判 断算法得到与每 个所述摄 像装置发送的所述图像数据、 所述音频 数据对应的天气类别； 对所述摄 像装置进行分组， 每组中的所述摄 像装置对应的天气类别相同； 将所述摄像装置数量最多的一组对应的图像数据、 音频信 息和文本信 息作为所述多模 态数据。 5.如权利要求4所述的天气预报方法， 其特征在于， 所述预设天气类别判断算法的确定 方式为： 获取 预设数量的所述摄 像装置发送的图像数据和音频 数据； 分别为各个所述摄 像装置发送的所述图像数据和所述音频 数据标注对应的天气类别； 根据所述图像数据、 所述音频数据及标注的所述天气类别进行深度学习训练， 得到深 度神经网络模型， 并作为所述预设天气类别判断算法。 6.如权利要求1所述的天气预报方法， 其特征在于， 所述多模态数据包括当前位置的图 像数据和天气预报文本数据时； 对所述多模态数据中的特 征进行提取， 得到多模态特 征之前， 包括： 将天气类别相同的多个所述图像数据和多个所述天气预报文本数据映射在同一特征 空间中； 分别提取与多个所述图像数据对应的多个图像特征及与多个所述天气预报文本数据 对应的多个文本特 征， 生成多个图像 ‑文本特征对； 对多个所述图像 ‑文本特征对进行训练， 以使第i个图像特征与第i个文本特征的向量 内积最少， 进而得到图像特征提取模型及文本特征提取模型， i为正整数， 且不大于所述图权　利　要　求　书 1/2 页 2 CN 115439727 A 2像数据或所述天气预报数据的个数； 对所述多模态数据中的特 征进行提取， 得到多模态特 征， 包括： 根据所述图像特征提取模型对所述图像数据中的特征进行提取， 得到 图像特征， 以及 根据文本特 征提取模型对所述文本数据中的特 征进行提取， 得到文本特 征。 7.如权利要求1 ‑6任一项所述的天气预报方法， 其特征在于， 对所述多模态特征建立模 型， 包括： 获取若干个设于不同位置的摄像装置发送的多个第 一训练数据， 对多个所述第 一训练 数据进行训练， 以得到与天气相关的通用特 征； 获取预设位置的摄像装置发送的第二训练数据， 并对所述第二训练数据进行训练， 以 得到与所述预设位置对应的特定特征； 所述第一训练数据及所述第二训练数据均包括所述 图像数据、 所述音频 数据及所述天气预报文本数据中一种或多种的组合； 基于所述 通用特征及所述特定特 征建立模型。 8.一种天气预报系统， 其特 征在于， 包括： 数据获取单元， 用于获取当前位置与天气相关的多模态数据， 所述多模态数据包括当 前位置的图像数据和/或音频 数据及天气预报文本数据； 特征提取单元， 用于对所述多模态数据中的特 征进行提取， 得到多模态特 征； 模型建立单 元， 用于对所述多模态特 征建立模型； 模型分析单元， 用于对所述模型进行分析， 以得到与所述当前位置对应的天气预报结 果。 9.一种天气预报装置， 其特 征在于， 包括： 存储器， 用于存 储计算机程序； 处理器， 用于在存储计算机程序时， 实现如权利要求1 ‑7任一项所述的天气预报方法的 步骤。 10.一种计算机可读存储介质， 其特征在于， 所述计算机可读存储介质上存储有计算机 程序， 所述计算机程序被处理器执行时实现如权利要求1 ‑7任一项所述的天气预报方法的 步骤。权　利　要　求　书 2/2 页 3 CN 115439727 A 3