性机器学习的理论局限性与因果推理的七大特性
图灵奖得到者，UCLA 教授 Judea Pearl 题为《Theoretical Impediments to Machine Learning with Seven Sparks from the Causal Revolution》的论文中，做者就已探讨了当前机器学习存在的理论局限性，并给出了面向解决这些问题，来自因果推理的七个启发。Pearl 教授在 NIPS 2017 系列活动中对本文进行了讨论，随后，他也对一些人们关心的问题进行了解答。
当前的机器学习几乎彻底是统计学或黑箱的形式，从而为其性能带来了严重的理论局限性。这样的系统不能推断干预和反思，所以不能做为强人工智能的基础。为了达到人类级别的智能，学习机器须要现实模型（相似于因果推理的模型）的引导。为了展现此类模型的关键性，我将总结展现 7 种当前机器学习系统没法完成的任务，并使用因果推理的工具完成它们。算法
图 1：因果关系的类型api
因果推理模型的 7 种特性
考虑如下 5 个问题：框架
- 给定的疗法在治疗某种疾病上的有效性？
- 是新的税收优惠致使了销量上升吗？
- 每一年的医疗费用上升是因为肥胖症人数的增多吗？
- 招聘记录能够证实雇主的性别歧视罪吗？
- 我应该放弃个人工做吗？
这些问题的通常特征是它们关心的都是缘由和效应的关系，能够经过诸如「治疗」、「致使」、「因为」、「证实」和「我应该」等词识别出这类关系。这些词在平常语言中很常见，而且咱们的社会一直都须要这些问题的答案。然而，直到最近也没有足够好的科学方法对这些问题进行表达，更不用说回答这些问题了。和几何学、机械学、光学或几率论的规律不一样，缘由和效应的规律曾被认为不适合应用数学方法进行分析。机器学习
这种误解有多严重呢？实际上仅几十年前科学家还不能为明显的事实「mud does not cause rain」写下一个数学方程。即便是今天，也只有顶尖的科学社区能写出这样的方程并形式地区分「mud causes rain」和「rain causes mud」。工具
过去三十年事情已发生巨大变化。一种强大而透明的数学语言已被开发用于处理因果关系，伴随着一套把因果分析转化为数学博弈的工具。这些工具容许咱们表达因果问题，用图和代数形式正式编纂咱们现有的知识，而后利用咱们的数据来估计答案。进而，这警告咱们当现有知识或可得到的数据不足以回答咱们的问题时，暗示额外的知识或数据源以使问题变的可回答。性能
我把这种转化称为「因果革命」（Pearl and Mackenzie, 2018, forthcoming），而致使因果革命的数理框架我称之为「结构性因果模型」（SCM）。学习
SCM 由三部分构成：测试
- 图模型
- 结构化方程
- 反事实和介入式逻辑
图模型做为表征知识的语言，反事实逻辑帮助表达问题，结构化方程以清晰的语义将前二者关联起来。ui
接下来介绍 SCM 框架的 7 项最重要的特性，并讨论每项特性对自动化推理作出的独特贡献。编码
1. 编码因果假设—透明性和可试性
图模型能够用紧凑的格式编码因果假设，同时保留透明性和可试性。其透明性使咱们能够了解编码的假设是否可信（科学意义上），以及是否有必要添加其它假设。可试性使咱们（做为人类或机器）决定编码的假设是否与可用的数据相容，若是不相容，分辨出须要修改的假设。利用 d-分离（d-separate）的图形标准有助于以上过程的执行，d-分离构成了缘由和几率之间的关联。经过 d-分离能够知道，对模型中任意给定的路径模式，哪些依赖关系的模式才是数据中应该存在的（Pearl，1988）。
2. do-calculus 和混杂控制
混杂是从数据中提取因果推理的主要障碍，经过利用一种称为「back-door」的图形标准能够彻底地「解混杂」。特别地，为混杂控制选择一个合适的协变量集合的任务已被简化为一种简单的「roadblocks」问题，并可用简单的算法求解。（Pearl，1993）
为了应对「back-door」标准不适用的状况，人们开发了一种符号引擎，称为 do-calculus，只要条件适宜，它能够预测策略干预的效应。每当预测不能由具体的假设肯定的时候，会以失败退出（Pearl, 1995; Tian and Pearl, 2002; Shpitser and Pearl, 2008）。
3. 反事实算法
反事实分析处理的是特定个体的行为，以肯定清晰的特征集合。例如，假定 Joe 的薪水为 Y=y，他上过 X=x 年的大学，那么 Joe 接受多一年教育的话，他的薪水将会是多少？
在图形表示中使用反事实推理是将因果推理应用于编码科学知识的很是有表明性的研究。每个结构化方程都决定了每个反事实语句的真值。所以，咱们能够解析地肯定关于语句真实性的几率是否是能够从实验或观察研究（或实验加观察）中进行估计（Balke and Pearl, 1994; Pearl, 2000, Chapter 7）。
人们在因果论述中特别感兴趣的是关注「效应的缘由」的反事实问题（和「缘由的效应」相对）。（Pearl，2015）
4. 调解分析和直接、间接效应的评估
调解分析关心的是将变化从缘由传递到效应的机制。对中间机制的检测是生成解释的基础，且必须应用反事实逻辑帮助进行检测。反事实的图形表征使咱们能定义直接和间接效应，并肯定这些效应可从数据或实验中评估的条件（Robins and Greenland, 1992; Pearl, 2001; VanderWeele, 2015）
5. 外部效度和样本选择误差
每项实验研究的有效性都须要考虑实验和现实设置的差别。不能期待在某个环境中训练的模型能够在环境改变的时候保持高性能，除非变化是局域的、可识别的。上面讨论的 do-calculus 提供了完整的方法论用于克服这种误差来源。它能够用于从新调整学习策略、规避环境变化，以及控制由非表明性样本带来的误差（Bareinboim and Pearl, 2016）。
6. 数据丢失
数据丢失的问题困扰着实验科学的全部领域。回答者不会在调查问卷上填写全部的条目，传感器没法捕捉环境中的全部变化，以及病人常常不知为什么从临床研究中忽然退出。对于这个问题，大量的文献致力于统计分析的黑箱模型范式。使用缺失过程的因果模型，咱们能够形式化从不完整数据中恢复因果和几率的关系的条件，而且只要条件被知足，就能够生成对所需关系的一致性估计（Mohan and Pearl, 2017）。
7. 挖掘因果关系
上述的 d-分离标准使咱们能检测和列举给定因果模型的可测试推断。这为利用不精确的假设、和数据相容的模型集合进行推理提供了可能，并能够对模型集合进行紧凑的表征。人们已在特定的情景中作过系统化的研究，能够显著地精简紧凑模型的集合，从而能够直接从该集合中评估因果问询。
NIPS 2017 研讨会 Q&A
我在一个关于机器学习与因果性的研讨会（长滩 NIPS 2017 会议以后）上发表了讲话。随后我就现场若干个问题做了回应。我但愿从中你能够发现与博客主题相关的问题和回答。
----------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------