译者序
Foundations of Machine Learning
纽约大学Mehryar Mohri教授是机器学习界的泰斗级人物,他与他的学生Afshin Rostamizadeh以及Ameet Talwalkar合著的《Foundations of Machine Learning》是机器学习领域一部具有里程碑意义的著作。包括哥伦比亚大学、北京大学在内的多所国内外顶级院校均有以该书为基础开设的研究生课程。
机器学习是人工智能研究领域中最活跃的分支之一,为信息科学领域解决实际学习问题提供了理论支撑与应用算法。机器学习又是一个多学科的交叉领域,涉及统计学、信息论、优化、博弈论、形式语言和自动机、应用心理学、生物学和神经生理学等。这种学科交叉融合带来的良性互动,无疑促进了包括机器学习在内的诸学科的发展与繁荣。
本书内容丰富,视野宽阔,深入浅出地介绍了目前机器学习的重要理论和关键算法。不同于常规的机器学习算法入门读物,本书试图从更高的视点和更深的层次来解读机器学习的理论基础,引入了对指导理论研究和实际应用都至关重要的概率近似正确(Probability Approximately Correct,PAC)学习理论。该理论旨在回答由机器学习得到的结果到底有多高的可信度与推广能力,从某种意义上来说,只有理解了这部分内容,才能对机器学习何时能学习以及为何能学习成功有更加深刻的理解。PAC理论涉及的数学基础较多,而国内关于PAC的参考资料非常少,我们人工智能与机器学习研究团队为此进行了多方论证并多次召开专题讨论会。此外,本书还巧妙地从间隔(margin)角度衔接各个章节,对机器学习中的诸多方面进行了完美的统一。
本书主要面向人工智能、机器学习、模式识别、数据挖掘、计算机应用、生物信息学、数学和统计学等领域的研究生和相关领域的科技人员。出版中译本的目的是希望能为国内从事相关研究的广大学者和研究生提供一本全面、系统、权威的教科书和参考书。如果能做到这一点,译者将感到十分欣慰。
必须说明的是,本书的翻译是中国科学院自动化研究所人工智能与机器学习研究团队集体努力的结果,团队成员杨雪冰、孙正雅、郭肇禄、张志忠、唐永强、何泽文、张似衡、牛景昊、任泽林、李明达、张晨阳、吴雅婧、黄妍、杨萌林、李定、尹彦婷等参与了本书的翻译工作,杨雪冰老师参与了全书的审校与修正,他们付出了艰辛劳动,在此我深表感谢。感谢机械工业出版社华章公司编辑的大力协助,倘若没有他们的热情支持,本书的中译版难以如此迅速地与大家见面。另外,本书的翻译得到了国家自然科学基金委重点项目和面上项目(U1636220、61472423、61432008等)的资助,特此感谢。
在翻译过程中,我们力求准确地反映原著内容,同时保留原著的风格。对于英文原版中的一些公式及表述错误,我们在翻译的过程中结合作者的课程讲稿进行了核校,并以译者注的形式指出和修正了部分错误。但由于译者水平有限,书中难免有不妥之处,恳请读者批评指正。
最后,谨把本书的中译版献给我的导师王珏研究员!王珏老师生前对机器学习理论、算法和应用非常关注,对机器学习中很多基础问题有着独到而深刻的理解,他启发并引领了我们研究团队对机器学习理论和算法的研究工作,使我们终身受益。
中国科学院自动化研究所
张文生
2019年3月于北京
前 言
Foundations of Machine Learning
本书是关于机器学习的概述,适合作为该领域学生和研究人员的教科书。书中涵盖了机器学习领域的基本内容,并且提供了讨论及检验算法合理性所必需的理论基础和概念工具。不仅如此,本书还描述了应用相关算法时需要考虑的若干关键问题。
本书旨在介绍新的机器学习理论和概念,并且对于相对前沿的结果给出了简要的证明。总体而言,我们尽可能在证明的过程中选择简洁的方式。尽管如此,我们会讨论机器学习中出现的一些重要且复杂的主题,指出若干开放的研究问题。对于那些常常与其他主题合并或者未引起足够关注的主题,在本书中将单独成章以着重讨论,例如多分类、排序和回归。
尽管本书覆盖了机器学习中很多重要的主题,但是出于论述简洁的目的且因目前缺乏针对一些方法的坚实的理论保证,图模型和神经网络两个重要主题未能覆盖。
本书主要面向机器学习、统计和其他相关领域的学生和研究人员,适合作为研究生和高年级本科生课程的教科书,或者学术研讨会的参考文本。本书前三章为后续内容奠定理论基础,第5章亦引入了一些概念来完善理论,并被后面章节广泛使用,而其余各章大多自成体系。每章最后给出了一套练习题,并单独给出完整的解答。
关于本书的习题解答及其他教辅资源,请访问作者主页cs.nyu.edu/faculty/mohri查看和下载。——编辑注
我们假定本书的读者熟悉线性代数、概率和算法分析的基本概念。但是,为了进一步辅助学习,我们在附录中简要回顾了线性代数和概率的相关知识,给出了凸优化的简介,并且提供了用于证明集中界的大量有用的工具。
据我们所知,没有一本教科书可以涵盖本书所介绍的全部内容。我们会要求每届机器学习专业的学生对学习本书的体会进行反馈。尽管针对不同的专业领域有一些很不错的机器学习参考书,但是这些书并不涉及对其他基本内容的一般性讨论。比如,关于核方法的书并不涉及对boosting、排序、强化学习、学习自动机或者在线学习等主题的讨论。当然也存在更为一般的机器学习方面的书,与之截然不同的是,本书关注理论基础并重视证明。
书中所介绍的大部分材料来自机器学习研究生课程(机器学习基础),该课程由本书第一作者在过去7年中在纽约大学库兰特数学科学研究所讲授。本书极大地受益于该课程的学生以及我们的朋友、同事和相关研究人员所提出的宝贵意见和建议,在此深表感激。
特别感谢Corinna Cortes和Yishay Mansour对于本书内容的设计和组织提出的许多重要建议,包括大量详细的注释。我们充分考虑了他们的建议,这对于改进全书帮助很大。此外,还要感谢Yishay Mansour用本书的最初版本进行教学,并向我们积极反馈。
我们还要感谢来自学术界和企业界研究实验室的同事和朋友所给予的讨论、建议和贡献,他们是:Cyril Allauzen、Stephen Boyd、Aldo Corbisiero、Spencer Greenberg、Lisa Hellerstein、Sanjiv Kumar、Ryan McDonald、Andres Muoz Medina、Tyler Neylon、Peter Norvig、Fernando Pereira、Maria Pershina、Ashish Rastogi、Michael Riley、Umar Syed、Csaba Szepesvri、Eugene Weinstein和Jason Weston。
最后,我们还要感谢MIT出版社对本书所给予的帮助和支持。