创新工场讲AI课：从知识到实践

1.李开复、王咏刚、张潼等学术界、产业界领军人物全新梳理AI知识体系；

2.AI领域国际科学家周明、张亚勤、周志华力荐；

3.创新工场新创“知识授课+产业实践”学习模式；

4.完整呈现从学科知识到工程实践的课程设计，实践项目来自产业界真实实践课题和训练数据；

5.本书旨在将AI学习者、从业者从一招一式的“点滴型学习”转变为能够博取百家、融会贯通的“系统型学习”。

创新工场于2017年发起了面向高校在校生的DeeCamp人工智能训练营（简称DeeCamp训练营），训练营内容涵盖学术界与产业界领军人物带来的全新AI知识体系和来自产业界的真实实践课题，旨在提升高校AI人才在行业应用中的实践能力，以及推进产学研深度结合。

本书以近两年DeeCamp训练营培训内容为基础，精选部分导师的授课课程及有代表性的学员参赛项目，以文字形式再现训练营“知识课程+产业实战”的教学模式和内容。全书共分为9章，第1章、第2章分别介绍AI赋能时代的创业、AI的产品化和工程化挑战；第3章至第8章聚焦于AI理论与产业实践的结合，内容涵盖机器学习、自然语言处理、计算机视觉、深度学习模型的压缩与加速等；第9章介绍了 4 个优秀实践课题，涉及自然语言处理和计算机视觉两个方向。

本书适合AI相关专业的高校在校生及AI行业的工程师使用，可作为他们了解AI产业和开拓视野的读物。

★★主要作者（按章节顺序排序）★★

★李开复★

李开复博士于2009年创立创新工场，担任董事长兼首席执行官，专注于科技创新型的投资理念与最前沿的技术趋势。十多年来创新工场已经投资逾400个创业项目，管理总额约160亿人民币的双币基金。2016年秋季创办创新工场人工智能工程院，致力于利用最前沿的AI技术为企业提供人工智能产品与解决方案。

在此之前，李开复博士曾是谷歌中国全球副总裁兼大中华区总裁，担任微软全球副总裁期间开创了微软亚洲研究院，并曾服务于苹果、SGI等知名科技企业。

李开复在美国哥伦比亚大学取得计算机科学学士学位，以zui gao荣誉毕业于卡耐基梅隆大学获得博士学位。同时，李开复获得香港城市大学、卡耐基梅隆大学荣誉博士学位。李开复获选为美国电机电子工程师学会（IEEE）的院士，并被《时代》杂志评选为2013影响全球100位年度人物之一，《Wired 连线》本世纪推动科技全球25位标杆人物，2018亚洲商界领袖奖等殊荣，并出任世界经济论坛第四次工业革命中心的AI委员会联席主席。李开复博士发明过十项美国专利，发表逾百篇专业期刊或会议论文，并出版过十本中文畅销书。

★王咏刚★

王咏刚，现任创新工场CTO人工智能工程院执行院长，加入创新工场前担任谷歌主任工程师和高级技术经理超过十年，在谷歌参与或负责研发的项目包括桌面搜索、谷歌拼音输入法、产品搜索、知识图谱、谷歌首页涂鸦（Doodles）等，在知识图谱、分布式系统、自然语言处理、HTML5动画和游戏引擎等领域拥有丰富的工程研发经验。目前专注于人工智能前沿科技的工程化与商业化，以及人工智能高端人才的培养，作为联合创始人，创立了人工智能商业化公司创新奇智，同时也是人工智能高端应用型人才培养项目DeeCamp的发起者。

★张潼★

张潼博士，机器学习领域国际著名专家，拥有美国康奈尔大学数学和计算机双学士学位，以及斯坦福大学计算机硕士和博士学位，在香港科技大学数学系和计算机系任教。曾经担任美国新泽西州立大学终身教授，IBM研究院研究员和雅虎研究院主任科学家，百度研究院副院长和大数据实验室负责人，腾讯AI Lab主任。他曾参加美国国家科学院大数据专家委员会，负责过多个美国国家科学基金资助的大数据研究项目，此外还是美国统计学会和国际数理统计学会fellow，并担任NIPS、ICML、COLT等国际顶级机器学习会议主席或领域主席，以及PAMI, JMLR, 和Machine Learning Journal等国际一流人工智能期刊编委。

★宋彦★

宋彦博士，香港中文大学（深圳） 数据科学学院副教授，创新工场大湾区研究院首席科学家。历任微软、腾讯研究员及首席研究员，创新工场大湾区研究院执行院长等职，是 “微软小冰”项目的创始团队成员之一，其研究方向包括自然语言处理、信息检索和抽取、文本表征学习等。

★屠可伟★

屠可伟博士，上海科技大学信息科学与技术学院长聘副教授、研究员、博士生导师。研究方向包括自然语言处理、机器学习、知识表示、计算机视觉等人工智能领域，侧重于研究语言结构的表示、学习与应用。

★张发恩★

张发恩，创新奇智联合创始人，创新奇智公司CTO， 宁波诺丁汉大学客座教授。2008年毕业于中国科学院软件研究所，同年加入微软，负责Office相关软件产品的研发工作；2010年，入职Google，作为核心研发人员，主导和参与Google搜索引擎、Google知识图谱等相关工作；2015年，加入百度，作为百度云早期创始团队成员之一，曾任百度云计算事业部技术委员会主席，百度云计算事业部大数据和人工智能主任架构师。他在IT行业拥有十几年技术研发和管理经验，涉及企业级软件、室内地图定位与导航、互联网搜索引擎、全领域知识图谱、大数据计算与存储、机器学习、深度学习、机器视觉等众多领域。工作期间获得10余项美国专利，70余项中国专利，发表过多篇顶级会议学术论文。

★唐剑★

唐剑博士，滴滴智能控制首席科学家，AI Labs 负责人兼算法委员会主席，IEEE Fellow和ACM杰出科学家，领导滴滴在智能物联网、计算机视觉和自动驾驶方向上的研发。

他在国际顶级期刊和会议上发表了160多篇学术论文，拥有多项发明专利，在边缘智能、AI驱动的系统控制和群智感知方向上做出开创性贡献，并多次获得最佳论文奖, 其中包括通信网络领域的zui gao论文奖2019 年度IEEE 通信学会William R. Bennett Prize和IEEE车载技术学会2016年度最佳车载电子论文奖。

目前还担任中国电子学会物联网专委会专家委员、新一代人工智能产业技术创新战略联盟专家委员会委员、IEEE车载技术学会杰出演讲人、以及IEEE通信学会交换和路由技术委员会主席。

★张弥★

张弥博士，现任密歇根州立大学副教授，2006年毕业于北京大学，2013年获得美国南加州大学博士学位，2013-2014年在美国康奈尔大学任博士后。主要研究领域包括终端深度学习、自动机器学习、联邦学习和机器学习系统。本人及其研究团队在2019年Google MicroNet Challenge 全球竞赛中获得CIFAR-100赛道第四名 (北美第yi名)，在 2017年NSF Hearables Challenge全球竞赛中获得第三名，在2016年NIH Pill Image Recognition Challenge全球竞赛中获得冠军。

★吴佳洪★

吴佳洪，创新奇智高级研究员，2017年毕业于北京大学。曾带队获得Pascal Voc 世界冠军、Cityscapes 实例分割冠军、ADE20K物体分割冠军等；曾负责创新奇智无人货柜项目的算法工作，专注于计算机视觉领域，发表过多篇CVPR论文。

★刘宁★

刘宁博士，滴滴资深研究员，毕业于美国东北大学计算机工程系。研究领域包括深度增强学习、深度模型压缩与加速、边缘计算等。在国际顶级期刊和会议AAAI, MICRO, ASPLOS，ISCA等发表学术论文20余篇，发表多项发明专利。

★★我非常高兴地看到，DeeCamp训练营的成功培训经验、方法论、课程体系、部分实践课题可以出版成书。以前DeeCamp训练营只能通过4～8周左右的培训，帮助数十位或数百位营员提升素质与技能。现在，这本书的出版可以让成千上万名有志于人工智能工程实践和商业落地的学生、研究员、工程师、产品经理受益。希望大家喜欢这本书！

——李开复 创新工场董事长兼CEO

★★人工智能是第四次工业革命的技术基石，许多产业将被它改变，它也将带来许多新的产业——自动驾驶、工业互联网、AI医疗……我希望年轻的工程师们以饱满的精神迎接这样一个充满挑战的未来，我相信这本书能帮你做好准备。

——张亚勤 清华大学智能科学讲席教授、智能产业研究院院长

★★一个能够让学生体会到 “耳到、眼到、口到、手到、心到”的AI学习环境，无疑是学习AI的优选路径。DeeCamp训练营恰恰提供了这样一个环境——在几周时间里，营员通过大师讲座（耳到）、参观黑科技（眼到）、互相交流（口到）和编程实现（手到），体会到AI系统设计理念和创新思维（心到），从而激发了对AI的兴趣。每一位营员将所学的知识融会贯通，从最初的一个好奇的想法落地成一个真正动起来的系统，每一刻都有豁然开朗之体味。这真是一个奇幻之旅。

——周明 创新工场首席科学家、微软亚洲研究院前副院长

★★创新工场的DeeCamp训练营邀请了名师授课，在人工智能关键技术、工程实践、产品研发、创业转化方面都有涉及，对创新创业人工智能人才培养颇有裨益。诸多培训内容汇入本书，值得感兴趣的读者一读。

——周志华 南京大学教授、欧洲科学院外籍院士

★第1章 AI赋能时代的创业★

1.1　中国AI如何弯道超车

1.2 AI从“发明期”进入“应用期”

1.2.1 深度学习助推AI进入“应用期”

1.2.2 To B创业迎来黄金发展期

1.2.3 “传统产业+AI”将创造巨大价值

1.2.4 AI赋能传统行业四部曲

1.3 AI赋能时代的创业特点

1.3.1 海外科技巨头成功因素解析

1.3.2 科学家创业的优势和短板

1.3.3 四因素降低AI产品化、商业化门槛

1.4 给未来AI人才的建议

★第2章 AI的产品化和工程化挑战★

2.1 从AI科研到AI商业化

2.2 产品经理视角—数据驱动的产品研发

2.2.1 数据驱动

2.2.2 典型C端产品的设计和管理

2.2.3 典型B端产品解决方案的设计和管理

2.2.4 AI技术的产品化

2.3 架构设计师视角—典型AI架构

2.3.1 为什么要重视系统架构

2.3.2 与AI相关的典型系统架构

2.4 写在本章最后的几句话

本章参考文献

★第3章 机器学习的发展现状及前沿进展★

3.1 机器学习的发展现状

3.2 机器学习的前沿进展

3.2.1 复杂模型

3.2.2 表示学习

3.2.3 自动机器学习

★第4章 自然语言理解概述及主流任务★

4.1 自然语言理解概述

4.2 NLP主流任务

4.2.1 中文分词

4.2.2 指代消解

4.2.3 文本分类

4.2.4 关键词（短语）的抽取与生成

4.2.5 文本摘要

4.2.6 情感分析

本章参考文献

★第5章 机器学习在NLP领域的应用及产业实践★

5.1 自然语言句法分析

5.1.1 自然语言句法分析的含义与背景

5.1.2 研究句法分析的几个要素

5.1.3 句法分析模型举例

5.2 深度学习在句法分析模型参数估计中的应用

5.2.1 符号嵌入

5.2.2 上下文符号嵌入

本章参考文献

★第6章 计算机视觉前沿进展及实践★

6.1 计算机视觉概念

6.2 计算机视觉认知过程

6.2.1 从低层次到高层次的理解

6.2.2 基本任务及主流任务

6.3 计算机视觉技术的前沿进展

6.3.1 图像分类任务

6.3.2 目标检测任务

6.3.3 图像分割任务

6.3.4 主流任务的前沿进展

6.4 基于机器学习的计算机视觉实践

6.4.1 目标检测比赛

6.4.2 蛋筒质检

6.4.3 智能货柜

本章参考文献

★第7章 深度学习模型压缩与加速的技术发展与应用★

7.1 深度学习的应用领域及面临的挑战

7.1.1 深度学习的应用领域

7.1.2 深度学习面临的挑战

7.2 深度学习模型的压缩和加速方法

7.2.1 主流压缩和加速方法概述

7.2.2 权重剪枝

7.2.3 权重量化

7.2.4 知识蒸馏

7.2.5 权重量化与权重剪枝结合并泛化

7.3 模型压缩与加速的应用场景

7.3.1 驾驶员安全检测系统

7.3.2 高级驾驶辅助系统

7.3.3 车路协同系统

本章参考文献

★第8章 终端深度学习基础、挑战和工程实践★

8.1 终端深度学习的技术成就及面临的核心问题

8.1.1 终端深度学习的技术成就

8.1.2 终端深度学习面临的核心问题

8.2 在冗余条件下减少资源需求的方法

8.3 在非冗余条件下减少资源需求的方法

8.3.1 特殊化模型

8.3.2 动态模型

8.4 深度学习系统的设计

8.4.1 实际应用场景中的挑战

8.4.2 实际应用场景中的问题解决

8.4.3 案例分析

本章参考文献

★第9章 DeeCamp训练营最佳商业项目实战★

9.1 方仔照相馆—AI辅助单张图像生成积木方头仔

9.1.1 让“AI方头仔”触手可及

9.1.2 理论支撑：BiSeNet和Mask R-CNN

9.1.3 任务分解：从图像分析到积木生成的实现

9.1.4 团队协作与时间安排

9.2 AI科幻世界—基于预训练语言模型的科幻小说生成系统

9.2.1 打造人机协作的科幻小说作家

9.2.2 理论支撑：语言模型、Transformer模型和GPT2预训练模型

9.2.3 从“找小说”到“写小说”的实现步骤

9.2.4 团队协作与时间安排

9.3 宠物健康识别—基于图像表征学习的宠物肥胖度在线检测系统

9.3.1 人人都能做“养宠达人”

9.3.2 理论支撑：表征学习、人脸识别原理和ArcFace损失函数

9.3.3 任务分解：从数据收集到肥胖度检测

9.3.4 团队协作与时间安排

9.4 商品文案生成—基于检索和生成的智能文案系统

9.4.1 智能内容生成

9.4.2 理论支撑：Word2Vec词嵌入、预训练语言模型BERT和Seq2Seq文本生成

9.4.3 任务分解：“寻章摘句”和“文不加点”

9.4.4 团队协作与时间安排

本章参考文献

★★AI赋能时代的创业★★

★李开复 创新工场董事长兼CEO★

近几年，有很多面临毕业的大学生会向我咨询创业方面的问题，例如“我毕业以后想创业或者想加入创业公司，有什么样的建议？”基于大家对未来的职业选择和规划上的困惑，我试图通过对AI（Artificial Intelligence，人工智能）技术的发展现状和未来前景的介绍，给大家答疑解惑。

创新工场DeeCamp人工智能训练营（简称DeeCamp训练营）是一个向全球大学生开放的公益项目，训练营的授课导师里不乏AI学术界的大师。在全中国乃至全世界的VC（Venture Capital，风险投资）公司里，创新工场可能是人工智能产业链布局最完整的一家公司—我们投资了近50家人工智能企业，其中培养出了7家“独角兽”企业。因此，在本章我主要介绍“AI创业”这一主题。

本章共分为4部分。首先介绍的是中国AI崛起的过程以及我对中国AI发展的信心，我坚信，中国在未来会成为AI最强的国家之一；其次，我想和大家谈谈近年来AI的一大转变—从“发明期”到“应用期”；接下来介绍的是在应用期里，AI赋能时代创业的特点—这个时期AI仍会带来很多机会，但是与之前相比已经大为不同；最后一部分是我给大家的一些建议，尤其适用于AI、计算机等专业的学生，即毕业之后何去何从、是否有创业机会或参与创业的机会，以及该怎么做。

1.1　中国AI如何弯道超车

中国为什么能成为AI超级大国呢？

今天，我们为中国在AI领域的地位感到自豪，中国已经成为除美国之外在AI领域研究最强和发展最快的国家。但这样的成就，在10年前甚至5年前，是不会有人能做出这样的预测的，包括我们自己。在过去5年时间里，我们不断地为AI的“中国速度”感到惊讶，现在回过头去看“为什么”，我总结了几个主要促进因素。

第一，中国有大批优秀的年轻AI工程师。虽然美国和加拿大是孕育AI大师的沃土—这两个国家赢得了几乎所有的图灵奖，但如果我们把目光放到中青代AI科学家身上，就会发现无论是在高校还是在企业，近年来中国优秀AI人才数量的增长速度非常快。图1.1.1是Allen Institute做过的一个关于中美两国AI领域高引用量论文情况的对比图。可以看到，2019年中国冲进全球论文引用量前50%的论文数量已经与美国持平；2020年，两国在全球论文引用量前10%的论文数量上也旗鼓相当；Allen Institute预测，到2025年中国将在全球论文引用量前1%的论文数量上超过美国。

虽然，中国在AI领域获得图灵奖级别的大师不多，但是在这个级别之下的AI科研人才储备方面，中国与美国的差距不大，这个现状在很大程度上源于当下中国的年轻人对科研、AI的兴趣，比如越来越多的在校大学生关注创新工场举办的DeeCamp训练营，我个人在高校里做过的关于AI科研的演讲也很受大学生们的欢迎，从中我们可以看到年轻一代对AI技术的热情与探索精神。

★★学会用AI解决真实世界的问题★★

创新工场于2017年开始举办的DeeCamp人工智能训练营（简称DeeCamp训练营），经过几年的积累和发展，已成为中国乃至全球最有特色也最有影响力的大学生科技训练营之一。DeeCamp训练营行之有效的方法论、知识体系、课程内容、实践课题，值得每一个即将或已经投身于人工智能领域的大学生、工程师、科研人员乃至产品经理认真学习。

人工智能是新一代产业革命的核心驱动技术，必将在未来的几十年里对人类各产业领域、各商业形态乃至个人生活的方方面面产生深远影响。但正如历史上每一次重大产业革命的早期进程一样，人工智能技术从稚嫩走向成熟、从科研实验室走向现实世界的过程也必然充满波折与挑战。今天的人工智能从业者普遍存在着科研属性重于工程与商业属性、对商业场景和市场需求缺乏了解、对技术与商业结合的本质问题缺乏深入思考、轻视或忽视产业基本规律等问题。例如，近年来一些曾经的明星AI团队，虽科研能力与技术出色，却始终难以解决产业中的真实问题，最终不得不走向失败的结局。

如何在30天左右的时间里，培养出擅长解决真实世界问题的AI中坚力量？

DeeCamp训练营用系统的方法论和出色的训练成绩给出了最好的答案。对参加过DeeCamp训练营的历届营员们来说，他们中的许多人都进入了世界顶级科技企业，用自己积累的对人工智能科技与商业化规律的正确认知，解决了各行各业的真实问题—他们正在从事的，不就是用人工智能等前沿科技来推动产业变革，以此改变世界的伟大事业吗？！

我认为，DeeCamp训练营最成功的经验主要有四点。

第一，学术大师与产业界领军人物梳理的人工智能知识体系。

掌握知识和理解知识背后的深层规律是两件完全不同的事。高屋建瓴的大师级人物善于描绘出那些只有站在学术或技术顶峰才能看到的最透彻、最立体的图景。DeeCamp训练营每年都会邀请科研领域的大师和产业界领军人物，如图灵奖得主John Hopcroft，人工智能领域世界级专家吴恩达、周志华、张潼，人工智能产业界领军人物孙剑、何晓飞，资深计算机科学教育家俞勇等为营员们授课。我自己也曾多次为营员们讲授科研、产业与商业间的规律。这些课程往往能给营员们带来更有助于理解知识体系的全新视角和方法论，让他们的学习方式在短时间内从一招一式的“点滴型学习”转变为能够博取百家、融会贯通的“系统型学习”。

第二，从学科知识过渡到工程实践的课程设计。

人工智能领域世界级专家周志华和张潼亲自担任DeeCamp训练营的课程设计顾问，他们和创新工场人工智能工程院的资深科学家、工程师一起，为DeeCamp训练营设计了强调应用场景与产业实践、重视市场与产品规律的完整课程体系，并围绕机器学习、深度学习、强化学习、迁移学习、计算机视觉、自然语言处理、自动驾驶、大数据等理论与实践的真实需要，丰富课程内容，开创了从学科知识过渡到工程实践的最佳学习路径。

第三，来自产业界的真实实践课题和训练数据。

每一位DeeCamp训练营的营员都有机会亲自尝试并解决来自各个产业界最具代表性的企业的真实问题，在合作企业提供的真实数据基础上完成机器学习模型的构建。真实场景和真实数据对于绝大多数在校学生，或者较少接触真实商业项目的研究员和工程师来说，都是不可多得的实践素材。对于每年DeeCamp训练营的每一个实践课题，营员们都会创造出让合作企业和产业导师眼前一亮的出色成果。

第四，发掘营员自主能力和自身潜力。

DeeCamp训练营给营员们提供了一个发掘潜力、展示自己的大舞台。营员们从第一天起就组成实践小组，自我组织和管理。他们像参加或运营一个创业团队一样，做好团队内部分工和项目计划，并在进展过程中不断评估团队效能、修正问题，以期在最终的结营展示环节获得好成绩。营员们还自发组织学习交流和知识分享，这实际上是营员们锻炼自主能力、提升综合素质的最好机会。

我非常高兴地看到，DeeCamp训练营的成功培训经验、方法论、课程体系、部分实践课题可以出版成书。以前DeeCamp训练营只能通过4～8周的培训，帮助数十位或数百位营员提升素质与技能。现在，这本书的出版可以让成千上万名有志于人工智能工程实践和商业落地的学生、研究员、工程师、产品经理受益。希望大家喜欢这本书！

最后，特别感谢将课程内容授权给本书的所有DeeCamp训练营讲师，感谢将真实案例授权给本书的合作企业，感谢为本书的出版付出辛勤劳动的创新工场DeeCamp训练营运营团队，感谢电子工业出版社博文视点的编辑人员，也感谢所有为本书的编写提供过指导意见或参与过本书文字校阅的朋友！

李开复

创新工场董事长兼CEO