(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211002324.X (22)申请日 2022.08.22 (71)申请人 平湖市通用电气安装 有限公司 地址 314213 浙江省嘉兴 市平湖市钟埭街 道繁荣路3 68号 (72)发明人 万家建　李子涵　任雯倩　施维佩　 屠佳晔　张桂玲　屠梦飘　钱奕童　 潘白浪　 (74)专利代理 机构 嘉兴启帆专利代理事务所 (普通合伙) 33253 专利代理师 王浩杰 (51)Int.Cl. G06Q 10/10(2012.01) G06Q 50/06(2012.01) G06K 9/62(2022.01)G06Q 30/00(2012.01) G06N 5/02(2006.01) G08B 21/18(2006.01) G08B 21/24(2006.01) G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 基于图像和声音信息的多模态一体化配网 运营系统 (57)摘要 本发明公开了基于图像和声音信息的多模 态一体化配网运营系统， 包括用能与负载在线智 能监测模块， 用于实时数据抽取并且监测用户的 用电负荷， 从而对超 过总容量预设值的用户通过 语音自动外呼方式进行告警提示， 进而实现高能 耗用电用户的监测并且促进电力平衡， 低辨识目 标智能识别模块， 通过异构多模态特征融合技术 实现目标的智能识别。 本发明公开的基于图像和 声音信息的多模态一体化配网运营系统， 其通过 用能与负载在线智能监测模块、 低辨识目标智能 识别模块、 语音知识库模块、 云坐席模块和潮流 异常与设备重载推送模块， 对配电网进行多模态 一体化运营管理。 权利要求书4页 说明书9页 附图1页 CN 115423429 A 2022.12.02 CN 115423429 A 1.一种基于图像和声音信息的多模态一体化配网运营系统， 用于提高智能配网运行管 理水平和运营监控能力， 其特 征在于， 包括： 用能与负载在线智能监测模块， 用于实时数据抽取并且监测用户的用电负荷， 从而对 超过总容量预设值的用户通过语音自动外呼方式进行告警提示， 进而实现高能耗用电用户 的监测并且促进电力平衡； 低辨识目标智能识别模块， 通过异构多模态特征融合技术实现目标的智能识别， 从而 对目标的异常行为进行告警提 示； 语音知识库模块， 通过智能感知单元、 智能交互单元、 语音服务单元和智能决策单元构 建专业语音知识库； 云坐席模块， 用于使用定时任务实现语音合成与催费功能并且全自动实现语音催缴以 及业扩回访； 潮流异常与设备重载推送模块， 用于对包括文本、 语音以及视频的多数据模态采用相 关技术进行数据分析， 及时准确发现潮流异常以及设备重载事 件， 并推送至相关人员。 2.根据权利要求1所述的一种基于图像和声音信息的多模态一体化配网运营系统， 其 特征在于， 用能与负载在线智能监测模块包括数据采集单元、 数据开发单元和辅助决策单 元， 其中： 对于数据采集单元， 通过用户用能与负荷的监测节点， 以确定适合的包括数据采集的 时间间隔和精度的参数与要求， 将通过监测国网用电采集系统， 实时采集并汇总至统一的 数据中心， 通过ETL到数据开发单 元； 对于数据开发单元， 对数据采集单元采集的数据进行数据预处理、 统计与分析和数据 挖掘， 以实现可视化展示在线智能监测， 对用户用能或者负荷异常情况及时准确进行告警； 对于辅助决策单元， 结合数据开发单元传输的处理后的数据， 对故障区域进行分析， 设 区域所有配变的数量N， 同时记该区域内发送停电事件的配变数量为n， 设η＝n/N， 称为研判 比率值， 设ε为一常数， 称为研判阈值， 若η≥ε， 则认为该区域的公共开关发生分闸事件， 下 游确已失电； 若 η＜ ε， 则认为该区域的公共开关未分闸， 下游不能确认失电。 3.根据权利要求2所述的一种基于图像和声音信息的多模态一体化配网运营系统， 其 特征在于， 对于低辨识目标智能识别模块： 建立复杂网络大数据异构多模态目标识别模型， 以获取数据主体特征为基础， 将视觉 图像与音频数据作为两种模态进行输入， 经处理后得到两种多模态高层特征， 并且将两种 异构模态间关联性建立共享模型， 结合不同类别复杂网络对进行处理， 增加识别优势模型 中隐藏量与可见量之间由对称性连接， 输入层与可 见层分布概 率为： 其中， v为可 见变量； h为隐藏变量； Z＝∑v,he‑Z(v,h)， 代表所有v与h可能之和； 优化异构多模态目标相关特征， 在识别模型中， 利用可见层与输入层 之间非线性函数， 向全连接层输出识别标签向量， 在目标处理中， 从数据中选取一部 分作为训练样本， 其关联 函数为：权　利　要　求　书 1/4 页 2 CN 115423429 A 2其中， {(xn,yn)}n＝1,...N， nx代表输入样本数据； ny为识别标签； 复杂网络中所有参数θ， 对 θ进行更新， 实现异构多模态目标相关特 征优化， 得到优化后参数为： 其中， x与y为同一数据中多模态特征， 为限制参数数量， γ＝1， 得到优化后异构多模态 目标相关特 征。 4.根据权利要求3所述的一种基于图像和声音信息的多模态一体化配网运营系统， 其 特征在于， 对于语音知识库模块： 智能感知单 元用于人机交 互、 获取语音指令和电网运行 数据； 智能交互单元通过智能搜索系统、 综合展示平台、 智能语音系统和智能信息推送系统 将业务中的相关数据进行展现， 判断事 件情况并且制定合理的问题解决方案； 语音服务单元包括语音库子单元、 语音识别子单元和语音合成子单元， 语音识别子单 元和语音合成子单元通过服务的方式接收语音， 并且集合语音库子单元将接收的语音 经过 噪音处理、 特征提取和语音解码过程， 以服 务的方式输出文本； 智能决策单元在通过智能感知获得电网运行发生异常或事故时， 知识库引擎首先根据 获取的电网信息， 匹配场景特征数据， 从索引库中检索出相应的相关规程， 从专家知识库搜 索到对应的事故处理流程模板， 然后智能决策引擎获取事件的分析结果， 最后根据事件的 分析结果和事故处 理流程模板， 智能决策 给出事故处 理预案或具体的操作流 程。 5.根据权利要求4所述的一种基于图像和声音信息的多模态一体化配网运营系统， 其 特征在于， 云坐席 模块包括用户信息管理单元、 催费信息管 理单元、 语音合 成管理单元和催 费功能单 元； 用户信息管理单 元将账单信息关联到每 个用户的注 册信息； 催费信息管理单元用于查看与设置系统发送催费语音到用户端的时间配置， 并且设置 选用当前使用模板的类型来 合成催缴费语音 音频文件； 语音合成管理单元用于根据训练好的模型进行端到端语音合成并且合成催费语音信 息、 公告语音信息和业扩回访信息； 催费功能单元包括后台推送子单元、 即时推送子单元和查看推送记录子单元， 后台推 送子单元将催缴电费的语音在设定的时间范围内推送至用户， 即时推送子单元单独选择一 条或多条账单信息， 对账单所属的用户立即发送催费语音推送， 每条催费信息的推送都会 产生一条相应的催费推送记录， 通过查看推送记录子单元对催费推送记录进行查询， 搜索 具体用户所收到的催费记录 。 6.根据权利要求5所述的一种基于图像和声音信息的多模态一体化配网运营系统， 其 特征在于， 对于潮流异常与设备重载推送模块的建立： 第一层： 将多模态内容中的文本、 图像和语音特 征输入到神经网络； 第二层： 注重 于单个模态内部的信息,采用的是私有的双向LSTM层； 第三层： 包 含双模态和三模态， 使用的共享双向LSTM层， 其中：权　利　要　求　书 2/4 页 3 CN 115423429 A 3