深度学习——从神经网络到深度强化学习的演进

深度学习是人工智能发展的第三次浪潮，相关算法在计算机视觉、自然语言处理、游戏、机器人、无人驾驶及医疗诊断等众多领域取得了显著的成果，在国内外引起了广泛的关注。目前深度学习技术在产业界发展成熟，广大高等院校也相继开设人工智能相关专业。为满足广大读者对于深度学习的学习需求，作者编著了此书。本书按照神经网络到深度强化学习的脉络介绍深度学习的演进与相关理论，帮助读者形成关于深度学习和强化学习系统全面的知识体系。《深度学习——从神经网络到深度强化学习的演进》呈现了以下深度学习和强化学习的理论、技术与应用：

神经网络与深度学习；

卷积神经网络；

循环神经网络及其他深层神经网络；

深度神经网络的训练方法；

轻量化神经网络模型；

强化学习算法；

多智能体多任务学习；

深度强化学习；

迁移学习。

本书首先概述人工智能、深度学习相关的基本概念和发展历程;然后详细介绍深度学习的基本理论和 算法,包括神经网络的关键技术、卷积神经网络的主要框架和应用实例、循环神经网络和无监督学习深度 神经网络的模型和应用、深层神经网络的参数优化方法、深度学习模型的轻量化方案以及移动端深度学习 案例;之后阐述强化学习的基本理论和算法,包括传统的强化学习方法及其衍生算法以及新型的多智能体 或多任务学习模型;最后介绍深度强化学习的具体算法及应用、迁移学习的概念及其在深度学习和强化学 习中的应用。

本书可作为学习深度学习及强化学习算法的参考书,也可作为高等院校相关课程的教材,还可供从事 人工智能领域的专业研究人员和工程技术人员阅读。

魏翼飞 北京邮电大学教授，博士生导师。加拿大卡尔顿大学联合培养博士，爱尔兰都柏林城市大学博士后，北京邮电大学理学院副院长（2014—2016年），美国休斯顿大学访问学者（2016—2017年）。目前主要研究深度学习、强化学习及区块链技术。作为负责人先后主持3项国家自然科学基金项目，参与完成了3项国家科技重大专项、2项国家科技支撑计划项目。在国内外学术期刊上发表SCI检索论文20余篇，EI检索论文30余篇，申请专利30余项。

刘群 华为公司诺亚方舟实验室语音语义首席科学家

近年来，深度学习和强化学习的突破使得人工智能再度辉煌，引了人们广泛的兴趣。《深度学习—从神怪网络到深度强化学习的演进》一书的作者结合自己的理解和实践经验，系统地介绍了深度学习和强化学习的理论、方法和应用，具有根好的参考价值。

韩竹 IEE Fellow 美国体斯效大学教授


深度学习作为人工智能领域的一个关键技术，与强化学习的结合将会使它进发新的活力。《深度学习——从神经网络到深度强化学习的演进》梳理了神经网络到深度强化学习的演进脉络，对于初学者甚至经验丰富的从业人员，都有很好的借鉴价值
。

于非 IEEE Fellow 加拿大卡尔领大学教授


《深度学习—从神经网络到深度强化学习的演进》详细阐述了深度学习、强化学习及深度强化学习的基本原理、核心算法和实践应用，介绍了深度学习和强化学习的前沿技术，例如移动端深度学习、联邦学习、迁移学习等。该书可以作为研究深度学习技术的参考书和工具书，帮助读者座清概念、梳理思路、开拓视野。

苏森 北京邮电大学人工智能学院院长


深度神经网络和强化学习的结合开辟了深度强化学习相关理论和应用的新时代。《深度学习——从神经网络预深度强化学习的演进》从神经网络开始介绍深度学习的原理和应用案例，并对强化学习及深度强化学习的概念和算法进行总结梳理。本书适合广大读者作为深度强化学习技术的入门读物。


王小军 爱尔兰都柏林城市大学硬件加速网络数据处理实验室负责人


人工智能，特别是其中的深度学习，是当前炙手可热的领域，无数学子投身到对其理论、方法和工具的学习中。但是，目前市面上系统阐述深度学习算法原理的优秀教材仍然不多。《深度学习——从神经网络到深度强化学习的演进》的出版恰逢其时。该书立足理论基础，深入浅出地介绍了神经网络到深度强化学习的基本理论及经典算法，有利于读者真正理解并掌握深度学习的理论基础。


第1章 人工智能与深度学习概述

1.1 人工智能与机器学习

1.1.1 人工智能的发展历程

1.1.2 机器学习及深度学习的发展历程

1.1.3 人工智能与机器学习及深度学习的关系

1.2 机器学习的分类

1.2.1 监督学习

1.2.2 非监督学习

1.2.3 半监督学习

1.2.4 强化学习

1.2.5 其他分类方式

1.3 深度学习的分类及发展趋势

1.3.1 深度神经网络

1.3.2 卷积神经网络

1.3.3 其他深度神经网络

1.3.4 深度学习的发展趋势

1.4 深度学习与强化学习的结合

1.4.1 强化学习

1.4.2 强化学习算法分类

1.4.3 深度强化学习

本章小结

第2章 神经网络与深度学习

2.1 深度学习简介

2.1.1 传统机器学习算法与深度学习算法对比

2.1.2 深度学习发展历程

2.2 图像分类问题

2.2.1 KNN分类器

2.2.2 线性分类器

2.2.3 损失及优化

2.3 损失函数

2.3.1 折页损失函数

2.3.2 交叉熵损失函数

2.4 反向传播算法

2.4.1 计算图

2.4.2 反向传播举例

2.5 人工神经网络

2.5.1 神经网络的结构

2.5.2 神经网络的分类

2.6 激活函数

2.6.1 常用激活函数

2.6.2 各种激活函数的优缺点

本章小结

第3章 卷积神经网络

3.1 基本概念

3.1.1 卷积

3.1.2 池化

3.1.3 经典网络LeNet5

3.2 几种卷积神经网络介绍

3.2.1 AlexNet

3.2.2 VGGNet

3.2.3 NIN

3.2.4 GoogLeNet

3.2.5 ResNet

3.3 计算机视觉问题

3.3.1 图像分类

3.3.2 目标定位

3.3.3 目标检测

3.3.4 图像分割

3.4 深度学习应用实例

3.4.1 深度学习框架

3.4.2 MNIST手写数字识别

3.4.3 基于DeepLabV3 模型的轨道图像分割

本章小结

第4章 循环神经网络及其他深层神经网络

4.1 从DNN到RNN

4.1.1 RNN结构

4.1.2 深度 RNN

4.1.3 RNN的训练

4.2 RNN变体

4.2.1 LSTM

4.2.2 GRU

4.2.3 其他结构

4.3 RNN应用举例

4.3.1 时序数据预测

4.3.2 自然语言处理

4.4 自编码器

4.4.1 稀疏自编码器

4.4.2 去噪自编码器

4.4.3 压缩自编码器

4.5 深度生成式模型

4.5.1 全可见信念网络

4.5.2 变分自编码器

4.5.3 生成式对抗网络

本章小结

第5章 深层神经网络的训练方法

5.1 参数更新方法

5.1.1 梯度下降算法的问题

5.1.2 基于动量的更新

5.1.3 二阶优化方法

5.1.4 共轭梯度

5.1.5 拟牛顿法

5.2 自适应学习率算法

5.2.1 学习率衰减

5.2.2 AdaGrad算法

5.2.3 RMSProp算法

5.2.4 AdaDelta算法

5.2.5 Adam算法

5.2.6 几种常见优化算法的比较

5.3 参数初始化

5.3.1 合理初始化的重要性

5.3.2 随机初始化

5.3.3 Xavier初始化

5.3.4 He初始化

5.3.5 批量归一化

5.3.6 预训练

5.4 网络正则化

5.4.1 正则化的目的

5.4.2 L1和L2正则化

5.4.3 权重衰减

5.4.4 提前停止

5.4.5 数据增强

5.4.6 丢弃法

5.4.7 标签平滑

5.5 训练深层神经网络的小技巧

5.5.1 数据预处理

5.5.2 超参数调优

5.5.3 集成学习

5.5.4 监视训练过程

本章小结

第6章 轻量化神经网络模型

6.1 深度学习轻量化模型

6.1.1 SqueezeNet模型

6.1.2 MobileNet模型

6.1.3 ShuffleNet模型

6.1.4 Xception模型

6.2 深度神经网络模型压缩

6.2.1 推理阶段的压缩算法

6.2.2 训练阶段的压缩算法

6.3 深度神经网络的硬件加速

6.3.1 推理阶段的硬件加速

6.3.2 训练阶段的硬件加速

6.4 移动端深度学习

6.4.1 移动端深度学习概述

6.4.2 移动端深度学习框架

6.4.3 移动端深度学习示例

本章小结

第7章 强化学习算法

7.1 强化学习综述

7.1.1 目标、单步奖励与累积回报

7.1.2 马尔可夫决策过程

7.1.3 值函数与最优值函数

7.2 动态规划方法

7.2.1 策略迭代

7.2.2 值迭代

7.3 基于值函数的强化学习算法

7.3.1 基于蒙特卡罗的强化学习算法

7.3.2 基于时间差分的强化学习算法

7.3.3 TDλ算法

7.4 基于策略梯度的强化学习算法

7.4.1 何时应用基于策略的学习方法

7.4.2 策略梯度详解

7.4.3 蒙特卡罗策略梯度算法

7.4.4 ActorCritic算法

7.5 值函数近似和衍生算法

7.5.1 值函数近似

7.5.2 基于值函数近似的TD方法

7.5.3 基于线性值函数近似的GTD方法

7.5.4 OffPolicy ActorCritic算法

本章小结

第8章 多智能体多任务学习

8.1 多智能体学习

8.1.1 多智能体强化学习背景

8.1.2 多智能体强化学习任务分类及算法介绍

8.1.3 多智能体增强学习平台

8.2 多任务学习

8.2.1 多任务学习的背景与定义

8.2.2 多任务监督学习

8.2.3 其他多任务学习

8.2.4 多任务学习的应用

8.3 元学习

8.3.1 从模型评估中学习

8.3.2 从任务特征中学习

8.4 联邦学习

8.4.1 背景

8.4.2 联邦学习的特点及优势

8.4.3 联邦学习的分类

8.4.4 联邦学习的应用

本章小结

第9章 深度强化学习

9.1 基于值函数的深度强化学习

9.1.1 深度Q学习

9.1.2 深度Q学习的衍生方法

9.2 基于策略梯度的深度强化学习

9.2.1 深度确定性策略梯度算法

9.2.2 异步深度强化学习算法

9.2.3 信赖域策略优化及其衍生算法

9.3 深度强化学习的应用

9.3.1 计算机围棋程序AlphaGo

9.3.2 深度强化学习的其他应用

9.3.3 深度强化学习在通信网络中的应用

本章小结

第10章 迁移学习

10.1 迁移学习简介及分类

10.1.1 迁移学习概述

10.1.2 迁移学习的分类

10.2 迁移学习的应用

10.2.1 迁移学习在深度学习中的应用

10.2.2 迁移学习在强化学习中的应用

本章小结

附录A 最近邻算法实现代码

附录B TensorFlow训练LeNet5网络实现代码

附录C 基于DeepLabv3 模型的轨道图像分割

附录D 时序数据预测实现代码

附录E 自然语言处理实现代码

附录F 移动端深度学习示例

参考文献

近年来，深度学习发展迅速，相关算法在计算机视觉、游戏、机器人、无人驾驶、系统控制及医疗诊断等众多领域取得了显著的成果，在国内外引起了广泛的关注。然而，深度学习的理论基础并没有实质性突破，只是在传统神经网络的基础上加入更多的隐藏层和神经元，使得神经网络的宽度和深度增加，引入了更丰富的网络模块和网络结构，使得神经网络的非线性表达能力增强。深度学习模型的提出和应用带来了人工智能的第三次浪潮，并且此次浪潮的高度和气势前所未见，当前仍处于浪潮的上升期，无论是理论研究还是实践应用都在快速进步，正在深刻改变社会生产和生活的每一个角落，未来人工智能将成为科技创新领域的基础设施。然而，目前基于深度学习模型的人工智能只能完成特定任务，属于弱人工智能，还不具备思考和推理能力。另外，深度学习目前也面临许多挑战。例如，如何从大量的无标注的数据进行学习，如何轻量化深度神经网络，如何更快速更高效地训练模型，如何结合知识图谱和逻辑推理，如何扩展到复杂的动态决策性任务上，如何自主学习……这些都是当前深度学习的前沿课题。

为了获得人类级别解决复杂问题的通用智能，很多最新的技术方案开始将深度学习的感知能力和强化学习的决策能力相结合，特别是2017年AlphaGo Zero的横空出世，将深度强化学习推到了新的热点和高度，成为人工智能历史上一个新的里程碑。深度强化学习技术能够发挥两种学习方法的优势。一方面，可以利用强化学习的试错算法和累积回报函数来解决深层神经网络训练面临的数据集获取和标记难题；另一方面，可以利用深度学习的高维数据处理和快速特征提取能力解决强化学习中的值函数逼近问题。深度强化学习是一种能够进行“迁移学习”“从零开始”“无师自通”的学习模式，是一种更接近人类思维方式的人工智能方法，或许能推动弱人工智能向强人工智能甚至超人工智能的演进。

本书全面地介绍了从神经网络到深度强化学习的演进过程，包括神经网络的关键技术、常用的深度神经网络模型和应用、深度学习模型的优化和轻量化、强化学习的基本理论和算法以及深度强化学习的设计思路和应用。

全书分为10章。

第1章是全书的概要。首先介绍人工智能、机器学习及深度学习的基本概念和发展历程；然后介绍机器学习、深度学习、强化学习的分类；最后介绍深度强化学习的概念和算法。

第2章至第6章介绍从神经网络到深度学习的演进与相关理论和应用。第2章介绍神经网络与深度学习的关键技术。首先简要介绍深度学习的概念和发展历程；其次以图像分类问题为例分析K近邻分类器（KNearest Neighbor, KNN）和线性分类器，并介绍神经网络的损失函数及优化；然后详细阐述常用的损失函数和反向传播算法，并从结构和分类两方面简单介绍神经网络；最后讨论常用的激活函数及其优缺点。

第3章介绍卷积神经网络的主要框架和应用实例。首先介绍卷积神经网络的基本概念和典型的卷积神经网络结构；然后重点阐述计算机视觉问题和其对应的框架和模型，包括图像分类、目标定位、目标检测和图像分割问题；最后介绍卷积神经网络应用实例和常用的深度学习框架。

第4章介绍循环神经网络和无监督学习的深度神经网络的模型和应用。首先介绍循环神经网络的网络结构和训练，包括门控循环单元和长短期记忆网络；然后介绍循环神经网络在自然语言处理和时序数据预测中的应用；最后讨论无监督学习的自编码器和深度生成式模型的结构和应用。

第5章详细介绍深层神经网络的训练方法，包括优化算法、参数初始化方法、常用的正则化策略和训练深层神经网络常用的技巧。

第6章讨论分析深度学习模型的轻量化方案以及移动端深度学习案例。首先介绍人工设计的轻量化神经网络模型；其次对深度神经网络模型压缩算法进行总结；然后简单介绍深度神经网络的硬件加速；最后介绍移动端深度学习的框架和应用实例。

第7章至第9章介绍从强化学习到深度强化学习的演进与相关理论和应用。第7章阐述强化学习的基本理论和算法。首先介绍有模型的马尔可夫决策及动态规划方法；然后详细介绍无模型的强化学习算法，包括基于值函数的强化学习算法和基于策略梯度的强化学习算法；最后介绍值函数近似和衍生算法。

第8章介绍强化学习的演进方向，包括多智能体学习、多任务学习、元学习和联邦学习。

第9章介绍深度强化学习的算法和应用。首先阐述基于值函数的深度强化学习和基于策略梯度的深度强化学习；然后对深度强化学习的应用进行介绍和分析，包括著名的AlphaGo和深度强化学习在游戏、机器人、自然语言处理和金融等方面的应用；最后总结分析深度强化学习在通信网络中的应用情况。

第10章介绍迁移学习的概念及其在深度学习和强化学习中的应用。

全书内容可以划分为三个部分：深度学习的关键技术和算法、强化学习的基本理论和算法和深度强化学习的具体算法及应用。为了有针对性地学习某些深度学习模型或掌握强化学习算法，读者可以根据自身需要，选择性地阅读相关章节。

本书的编撰工作得到了休斯敦大学韩竹教授、都柏林城市大学王小军教授、卡尔顿大学于非教授、北京邮电大学宋梅等教师的指点和帮助。郑颖、薛晨子、顾博、公雨、刘晓伟、何欣等参与了本书部分内容的整理或校对工作，在此向他们表示衷心的感谢。此外，本书参考了斯坦福大学、伦敦大学学院（UCL）、麻省理工学院的公开课以及其他优秀教材，特别说明。

由于编者水平和视野所限，编写时间仓促，加之深度学习技术发展一日千里，书中难免有疏漏甚至错误之处，恳请读者批评指正。

魏翼飞

于北京邮电大学