因果关系是一个有吸引力的研究领域。它的数学化才刚刚起步,许多概念问题仍然存在争论——通常争论比较激烈。
《因果推理:基础与学习算法》总结了作者十年来分析因果关系所得到的结果,虽然有些人研究这一问题的时间比作者更长,也存在一些关于因果关系方面的图书,包括Pearl(2009)、Spirtes等人(2000)以及Imbens和Rubin(2015)的综述,但是作者希望本书能从两方面补充现有的工作。
首先,《因果推理:基础与学习算法》倾向于因果关系的子问题,认为因果关系是最基本的,也是最不现实的。这就是因果效应问题,在这个问题上,被分析的系统只包含两个可观测变量。在过去的十年里,作者对这个问题进行了较为详细的研究。作者报告了这项工作的大部分内容,并试图将其纳入作者认为对因果关系问题有选择性但深刻理解的基础背景中。虽然按照章节顺序先研究二元情况可能有一定的指导意义,但也可以直接开始阅读多变量章节。
其次,《因果推理:基础与学习算法》中的方法受到机器学习和计算统计领域的激励和影响。本书感兴趣的是这些方法如何帮助推断因果结构,更感兴趣的是因果推理是否能告诉人们机器学习的方式。事实上,作者认为,如果不把概率分布描述的随机实验作为出发点,而是考虑概率分布背后的因果结构,那么能很好理解机器学习的一些最深刻的开放性问题。
《因果推理:基础与学习算法》试图为具有概率论、统计和机器学习基础的读者提供一个系统的主题介绍(为了完整起见,附录A.1和A.2给出了最重要的概念)。
虽然《因果推理:基础与学习算法》建立在Pearl(2009)和 Spirtes等人(2000)的工作所代表的因果关系图解的基础上,但作者的个人品味影响了主题的选择。为了保持本书的可读性,并将注意力集中在概念性问题上,令人遗憾的是,不得不在因果关系的一些重大问题上投入较少的篇幅,无论是对特定背景的理论见解,还是对各种具有实际重要性的方法的深入了解。作者试图为一些明显的遗漏引用文献,但可能忽略了一些重要的主题。
《因果推理:基础与学习算法》也有一些缺点,其中一些内容是从该领域继承而来的,例如理论结果往往局限于有无穷多的数据的情况。虽然本书提供了有限数据情况的算法和方法,但是没有讨论这些方法的统计性质。此外,在一些地方,本书忽略了测度理论问题,往往假设密度的存在。作者发现所有这些问题都是相关的和有趣的,但作者做出了这些选择,以保持本书的简洁和易读性。
再一个是免责声明。计算因果关系的方法仍处于起步阶段,只是在有限的情况下,从数据中学习因果结构是可行的。《因果推理:基础与学习算法》试图在可能的情况下包括具体的算法,但作者清楚地意识到,因果推理的许多问题比典型的机器学习问题更困难,因此无法保证这些算法都能解决读者的问题。请不要对这句话感到气馁,因果学习是一个有趣的话题,作者希望阅读本书可以说服读者开始研究它。
如果没有大家的支持,作者就无法完成《因果推理:基础与学习算法》这本书。
作者非常感谢德国奥博沃尔法赫数学研究所对三位作者的支持,在该研究所工作期间,三位作者完成了《因果推理:基础与学习算法》的大部分内容。
感谢Michel Besserve、Peter Bühlmann、Rune Christiansen、Frederick Eberhardt、Jan Ernest、 Philipp Geiger、Niels Richard Hansen、Alain Hauser、Biwei Huang、Marek Kaluba、Hansruedi Künsch、Steffen Lauritzen、Jan Lemeire、David Lopez-Paz、Marloes Maathuis、Nicolai Meinshausen、S.ren Wengel Mogensen、Joris Mooij、Krikamol Muandet、Judea Pearl、Niklas Pfister、Thomas Richardson、Mateo Rojas-Carulla、Eleni Sgouritsa、Carl Johann Simon-Gabriel、Xiaohai Sun、Ilya Tolstikhin、Kun Zhang和 Jakob Zscheischler,在作者写《因果推理:基础与学习算法》的过程中,提供了许多有用的评论和有趣的讨论。特别是Joris和Kun参与了本书介绍的大部分研究。
感谢德国卡尔斯鲁厄理工学院、瑞士苏黎世联邦理工学院和德国图宾根大学多位学生对《因果推理:基础与学习算法》初稿的阅读及校对,并提出许多令人鼓舞的问题。
最后,感谢来自Westchester出版服务公司的匿名评审专家和编辑团队的有益建议,以及麻省理工学院出版社的工作人员,特别是Marie Lufkin Lee和Christine Bridget Savage,感谢他们在整个写作过程中提供了良好的支持。
Jonas Peters、Dominik Janzing和 Bernhard Schölkopf
哥本哈根和图宾根
自从1956年首次提出“人工智能”(AI)概念,AI一直处于争议之中。AI或被称作人类文明耀眼未来的预言,或被当成技术疯子的狂想扔到垃圾堆里。直到2012年之前,这两种声音还同时存在。2012年以后,得益于数据量的上涨、运算力的提升和深度学习的出现,AI在理论研究及应用领域开始了大的爆发。
世上万事万物,有因就有果,有果必有因。事物为什么会发生、为什么会得到某种结果,都是通过论述事物的因果关系来完成的。然而,因果推理一直被视为机器学习理论中缺失的部分,除了执果索因的贝叶斯定理,很少有方法能对因果关系进行建模。目前,因果关系是一个极具吸引力的研究领域。其理论研究和应用试探才刚刚起步,许多概念问题仍然存在争论。
因果推理是探讨利用数据确定因果关系、度量因果效应的方法。近年来,包括哲学、统计学、计算机科学、社会学、医学和公共卫生等领域的研究者对因果及其推理方法进行了广泛的探讨和研究。因果图模型提供了一种用概率图进行因果推理的框架。因为它能直观表示因果知识,有效地对因果效应进行概率推断,所以使得与它相关的方法成为统计学、机器学习、生物信息等领域的一个研究热点。然而,利用数据,特别是观察数据进行因果的学习和推理的方法还不完善,大多基于实际数据的因果分析很难得到理想的效果。
《因果推理:基础与学习算法》的第1章从概率论与统计学入手,介绍了因果模型和因果学习。第2章分析了因果推理的假设,揭示这些假设所暗含的因果推理和学习的目的。第3~5章针对两个变量的情况介绍结构因果模型、干预和反事实等概念,然后论述了学习因果模型,以及因果模型与机器学习之间的关系。第6~8章将第3~5章的概念和理论推广到多变量情况。第9章分析因果推理中隐藏变量的相关问题。最后,第10章讨论时间序列的因果推断。
《因果推理:基础与学习算法》的翻译出版得到了机械工业出版社的大力支持,在此特致感谢。我们的研究生在全书的初稿形成、图表编辑等诸多方面给予了帮助,在此一并致谢。
《因果推理:基础与学习算法》第1~5章以及附录部分由卢胜男博士翻译,第6~10章由李小和博士翻译,程国建教授对全书进行了通稿和校对并参与了部分内容的翻译。在翻译过程中,译者力求忠实、准确地把握原著,同时保留原著风格。但由于译者水平有限,书中难免有错误和不准确之处,恳请广大读者批评指正。
译 者