多模态推理演算与学习 张小旺 天津大学 2022年3月 人工智能发展路线 人工智能发展四个阶段：计算、感知、认知以及意识，当前处在从感知跨越认知阶段，这个阶段最核心：语义蕴含 模态语义分析 • 表示 • 计算 离散符号计算 计算 相关方向 符号逻辑 • 文本识别 • 图像识别 • 语音识别 • 理解 • 推理 • 决策 • 自学习 • 记忆机理 • 意识管理 模态语义提取 模态语义蕴含 语义重构 感知 认知 意识 深度学习 知识图谱 脑认知 认知智能发展 • 语义蕴含从对语义弱化（或泛化），将显性语义“分析”隐性语义 • 认知智能是指赋予机器理解和模拟人类行为的能力 • 实现记忆、学习、分析、理解、推理、判断，进而制定和智能决策。 福 语义 幸福、福气 语义 火热，吉祥 蕴含 福 福 蕴含 图片来源：中国信息通信研究院 认知智能与多模态 符号主义与连接主义的顶层融合，推理会不会成为技术突破口？ 人工智能应用到更广泛、更复杂的生活场景中，多模态，乃至跨模态语义分析为基础的认知技术得到前所未有发展 • 大数据多源异构性 • 语义的多模态特性 • 高级认知的复杂性 模 型 多模态数据下的认知智能模型 人的认知基于多元感知 大数据下的多模态数据 演绎推理与统计推断 多模态推理分析 跨模态推理分析 经典语义蕴含推理 演绎推理与统计推断 • 演绎推理 • 归纳推理 演绎推理 演绎推理：自顶向下，从整体到个体，从共性到个性，从知识到事实的主要方式 经 典 方 法 03 01 02 自然演绎 归约原理 表演算 归约为 • 数学证明过程 • 逻辑形式化推导过程 推理问题归约可满足性问题 即SAT问题 • • • • 构建初始森林 设计森林扩展规则 利用扩展规则新增节点，直到完全 判定完全森林（开放域封闭） 森林的封闭性=不可满足性 演绎推理-表演算示例 经典语义蕴含推理 演绎推理与统计推断 • 演绎推理 • 归纳推理 归纳推理 归纳推理：自底向上，从个体到整体，从个性到共性，从数据获取经验知识的主要方式 从足够多的事例中归纳出一般性结论的推理过程. 1964 年 Solomonof 创立的普遍归纳推理理论,是一个基于观察的预测理论. 事实 <蓝鲸，可以喷射，水柱> <抹香鲸，可以喷射，水柱> 观察整理 <xx鲸，可以喷射，水柱> 检验猜想 <齿鲸，是一种，鲸鱼> <齿鲸，可以喷射，水柱> 归纳推理-马尔科夫逻辑网 马尔科夫网络与一阶逻辑相结合的统计关系学习模型，通过赋权的逻辑规则，实现“柔性”的逻辑推理 p 马尔可夫逻辑网络（MLN）由 n 个（F, w）对的集合 • F：一阶逻辑规则 • w：实数 p MLN与包含常值的有限集合一起定义一个马尔可夫网络 • 每个grounding 的谓词是MLN的一个节点 • 每个grounding 的规则是MLN的一个特征，其权值为w p grounding的网络发生的概率 P(U) 马尔科夫逻辑网 - 推理示例 U={Friends(A, B) = 1, Smokes(A) = 1, Smokes(B) = 1, Cancer(A) = 1, Cancer(B) = 1, Friends(B, A) = 1} 推理问题： 已知 {Friends(A, B) = 1, Smokes(A) = 1, Smokes(B) = 1, Cancer(A) = 1, Friends(B, A) = 1} 求： Cancer(B) = ？ 马尔科夫逻辑网 – 推理 推理问题： 已知 {Friends(A, B) = 1, Smokes(A) = 1, Smokes(B) = 1, Cancer(A) = 1, Friends(B, A) = 1} 求： Cancer(B) = ？ Possible world 有两种情况： U1={Friends(A, B) = 1, Smokes(A) = 1, Smokes(B) = 1, Cancer(A) = 1, Cancer(B) = 0, Friends(B, A) = 1} U2={Friends(A, B) = 1, Smokes(A) = 1, Smokes(B) = 1, Cancer(A) = 1, Cancer(B) = 1, Friends(B, A) = 1} 用最大可能估计法 进行推测 马尔科夫逻辑网 – 基于概率模型的推理 U1={Friends(A, B) = 1, Smokes(A) = 1, Smokes(B) = 1, Cancer(A) = 1, Cancer(B) = 0, Friends(B, A) = 1} � �1 &= �   �� �� �1 &= �1 �1 �1 + �2 �2 �1 &= 1.5 × 1 + 1.1 × 2 = 3.7 U2={Friends(A, B) = 1, Smokes(A) = 1, Smokes(B) = 1, Cancer(A) = 1, Cancer(B) = 1, Friends(B, A) = 1} � �2 &= �   �� �� �2 &= �1 �1 �2 + �2 �2 �2 &= 1.5 × 2 + 1.1 × 2 = 5.2 L(U1) < L(U2) Possible world U2 更有可能发生 Cancer(B) 更有可能 等于 1 演绎推理&归纳推理小结 演绎推理 • • 演绎推理具有可靠完备性、推理过程可表示、可回溯、逻辑可解释性 可靠完备性造成推理代价高（往往都是NP难），效率低 归纳推理 • • 归纳推理具有不确定的语义、效率高、实用场景广 推理完备可靠性不高、逻辑可解释性差 其它推理 • • • 类比推 理：个体到个体的推理方式 非单调 推理：不完全语义下的推理 溯因推 理：从推理结果到推理过程 演绎推理与统计推断 多模态推理分析 跨模态推理分析 数据结构多样性 语义模态的多样性 多模态推理分析 • 知识图谱推理 • 文本理解 • 图像视频推理 知识图谱推理 01 #ONE OWL本体推理 03 #THREE 规则学习 02 #TOW 知识图谱路径推理 04 #FOUR 事理知识图谱 知识图谱推理-OWL本体推理 什么是本体？ 本体就是一种特殊类型的术语集，具有结构化的特点，且更加适合于在计算机系统之中使用。 领域本体示例： 知识图谱推理-OWL本体物化推理 相比一步到位物化，OWL本体分步物化，解决有限标准模型的完备性，进而确保推理归约查询问题 SUMA系统集成完备性本体物化推理方法，具有高完备、高并行、高兼容以及易用等实用特性。 相比牛津大学PAGOdA推理系统，平均物化计算速度提升2-7倍。 Qin X, et al. A partial materialization-based approach to scalable query answering in OWL 2 DL. DASFAA-20: 171-187. Github开源地址：https://github.com/SUMA-2019/SUMA、 https://github.com/wchlong/ComR