人工智能原理及其应用

本书是“十二五”普通高等教育本科国家级规划教材和北京高等教育精品教材。 全书包括8章和附录，主要内容包括：人工智能概述，确定性知识系统，不确定性知识系统，智能搜索技术，机器学习，人工神经网络与连接学习，分布智能，智能应用简介。附录A是新一代人工智能简介。本书为任课教师免费提供电子课件。 本书可以作为高等院校计算机类各专业及相关专业的相关课程的教材。

王万森，男，教授，2004年至今，首都师范大学信息工程学院任教。主要从事人工智能等放面的教学及研究工作。主要教学成果：2006年度教育部-微软精品课程建设项目，主持人；普通高等教育"十一五”国家级规划教材多本；精品课程建设项目"人工智能原理”负责人。研究领域：人工智能、人工情感、e-learning系统、不确定推理、专家系统等方面的研究与开发工作。

目 录
第1章 人工智能概述 1
1．1 人工智能的基本概念 1
1．1．1 智能的概念 1
1．1．2 人工智能的概念 3
1．1．3 人工智能的研究目标 3
1．2 人工智能的产生与发展 4
1．2．1 孕育期（1956年之前） 4
1．2．2 形成期（1956年到20世纪60年代末） 5
1．2．3 知识应用期（20世纪70年代初到80年代初） 5
1．2．4 从学派分立走向综合（20世纪80年代中到21世纪初） 7
1．2．5 机器学习和深度学习引领发展（21世纪初至今） 7
1．3 人工智能研究的基本内容 7
1．3．1 智能的脑与认知机理研究 7
1．3．2 智能模拟的理论、方法和技术研究 8
1．4 人工智能研究中的不同学派 9
1．4．1 符号主义 9
1．4．2 连接主义 10
1．4．3 行为主义 10
1．5 人工智能的研究和应用领域 11
1．5．1 机器思维 11
1．5．2 机器学习 12
1．5．3 机器感知 14
1．5．4 机器行为 15
1．5．5 计算智能 16
1．5．6 分布智能 17
1．5．7 智能系统 18
1．5．8 人工心理和人工情感 18
1．5．9 人工智能的典型应用 19
习题1 21
第2章 确定性知识系统 23
2．1 确定性知识系统概述 23
2．1．1 确定性知识表示概述 23
2．1．2 确定性知识推理概述 25
2．2 确定性知识表示方法 27
2．2．1 谓词逻辑表示法 27
2．2．2 产生式表示法 34
2．2．3 语义网络表示法 36
2．2．4 框架表示法 42
2．3 确定性知识推理方法 46
2．3．1 产生式推理 46
2．3．2 自然演绎推理 51
2．3．3 归结演绎推理 54
2．4 确定性知识系统简例 63
2．4．1 产生式系统简例 63
2．4．2 归结演绎系统简例 65
习题2 66
第3章 不确定性知识系统 70
3．1 不确定性推理概述 70
3．1．1 不确定性推理的含义 70
3．1．2 不确定性推理的基本问题 71
3．1．3 不确定性推理的类型 72
3．2 可信度推理 73
3．2．1 可信度的概念 73
3．2．2 可信度推理模型 73
3．2．3 可信度推理的例子 77
3．3 主观Bayes推理 78
3．3．1 主观Bayes方法的概率论基础 78
3．3．2 主观Bayes方法的推理模型 79
3．3．3 主观Bayes推理的例子 83
3．3．4 主观Bayes推理的特性 85
3．4 证据理论 85
3．4．1 证据理论的形式化描述 86
3．4．2 证据理论的推理模型 90
3．4．3 推理实例 91
3．4．4 证据理论推理的特性 93
3．5 模糊推理 93
3．5．1 模糊集及其运算 93
3．5．2 模糊关系及其运算 96
3．5．3 模糊知识表示 98
3．5．4 模糊概念的匹配 99
3．5．5 模糊推理的方法 100
3．6 概率推理 104
3．6．1 贝叶斯网络的概念及理论 105
3．6．2 贝叶斯网络推理的概念和类型 108
3．6．3 贝叶斯网络的精确推理 109
3．6．4 贝叶斯网络的近似推理 110
习题3 111
第4章 智能搜索技术 115
4．1 搜索概述 115
4．1．1 搜索的含义 115
4．1．2 状态空间问题求解方法 116
4．1．3 问题归约求解方法 119
4．1．4 进化搜索法概述 122
4．2 状态空间的启发式搜索 125
4．2．1 启发性信息和估价函数 125
4．2．2 A算法 126
4．2．3 A*算法 128
4．2．4 A*算法应用举例 132
4．3 与/或树的启发式搜索 133
4．3．1 解树的代价与希望树 133
4．3．2 与/或树的启发式搜索过程 135
4．4 博弈树的启发式搜索 136
4．4．1 概述 136
4．4．2 极大/极小过程 137
4．4．3 α-β剪枝 138
4．5 遗传算法 139
4．5．1 遗传算法中的基本概念 139
4．5．2 遗传算法的基本过程 139
4．5．3 遗传编码 140
4．5．4 适应度函数 142
4．5．5 基本遗传操作 143
4．5．6 遗传算法应用简例 148
习题4 151
第5章 机器学习 153
5．1 机器学习概述 153
5．1．1 学习的概念 153
5．1．2 机器学习的概念 154
5．1．3 机器学习系统的基本模型 156
5．2 记忆学习 157
5．3 示例学习 158
5．3．1 示例学习的类型 159
5．3．2 示例学习的模型 159
5．3．3 示例学习的归纳方法 161
5．4 决策树学习 162
5．4．1 决策树的概念 162
5．4．2 ID3算法 163
5．5 统计学习 169
5．5．1 小样本统计学习理论 169
5．5．2 支持向量机 171
5．6 集成学习 176
5．6．1 集成学习概述 176
5．6．2 AdaBoost算法 178
5．6．3 Bagging算法 184
5．7 粗糙集知识发现 185
5．7．1 粗糙集概述 185
5．7．2 粗糙集的基本理论 186
5．7．3 决策表的约简 188
习题5 192
第6章 人工神经网络与连接学习 194
6．1 概述 194
6．1．1 人工神经网络概述 194
6．1．2 连接学习概述 195
6．2 人工神经网络的生物机理 195
6．2．1 人脑神经元的结构及功能 196
6．2．2 学习的神经机理 198
6．3 人工神经元及人工神经网络的结构 200
6．3．1 人工神经元的结构及模型 200
6．3．2 人工神经网络的互连结构 202
6．4 人工神经网络的浅层模型 203
6．4．1 感知器模型 203
6．4．2 BP网络模型 206
6．4．3 Hopfield网络模型 207
6．5 深层神经网络模型 208
6．5．1 深度卷积神经网络 208
6．5．2 深度波尔茨曼机与深度信念网络 210
6．6 浅层连接学习 211
6．6．1 连接学习规则 211
6．6．2 感知器学习 213
6．6．3 BP网络学习 215
6．6．4 Hopfield网络学习 221
6．7 深度学习 224
6．7．1 深度学习概述 224
6．7．2 深度卷积神经网络学习 226
6．7．3 卷积神经网络学习的经典模型LeNet5 234
习题6 237
第7章 分布智能 239
7．1 分布智能概述 239
7．1．1 分布智能的概念 239
7．1．2 分布式问题求解 240
7．1．3 多Agent系统 241
7．2 Agent的结构 243
7．2．1 Agent的机理 243
7．2．2 反应Agent的结构 244
7．2．3 认知Agent的结构 245
7．2．4 混合Agent的结构 245
7．3 多Agent系统 246
7．3．1 Agent通信 246
7．3．2 多Agent合作 250
7．4 移动Agent 256
7．4．1 移动Agent系统的一般结构 256
7．4．2 移动Agent的实现技术及应用 257
习题7 259
第8章 智能应用简介 261
8．1 自然语言理解简介 261
8．1．1 自然语言理解的基本概念 261
8．1．2 词法分析 263
8．1．3 句法分析 264
8．1．4 语义分析 268
8．2 专家系统简介 270
8．2．1 专家系统概述 271
8．2．2 基于规则和基于框架的专家系统 274
8．2．3 模糊专家系统和神经网络专家系统 275
8．2．4 基于Web的专家系统 278
8．2．5 分布式和协同式专家系统 279
8．2．6 专家系统的开发 281
习题8 286
附录A 新一代人工智能简介 288
A．1 新一代人工智能基础理论简介 288
A．2 新一代人工智能关键共性技术简介 291
参考文献 294

前 言

2016年3月，在人工智能迈向其60“寿辰”的脚步中，一声春雷，AlphaGo的横空出世，人工智能随之强势兴起，并迅速进入了一个空前的热潮时期。

认真分析本轮人工智能热潮的起因，AlphaGo仅仅是一根导火索，其深层的根源在于云计算为人工智能跨越式发展提供了强大的计算能力、大数据为人工智能大规模机器学习提供了丰富的数据资源、深度学习为人工智能认知模拟提供了一条有效途径，尤其是经济社会智能化进程的加速为人工智能落地带来了巨大的应用需求。

与以往人工智能的几度兴衰相比，本次热潮有四大特点，即技术引领、政府主导、企业推动、需求牵引。从国家层面，世界各国政府近年纷纷出台政策，迅速将人工智能上升为国家战略，并将其视为国家核心竞争力的基本要素和重要标志。例如，美国政府于2016年10月13日发布了《国家人工智能研究与发展策略规划》，英国政府于2017年10月15日再次发布了名为《在英国发展人工智能》的报告，我国政府也于2017年7月8日发布了《国务院关于印发新一代人工智能发展规划的通知》等。从企业层面，全球各科技巨头之间的人工智能竞争愈演愈烈，美国的谷歌、微软、脸书、IBM、亚马逊企业等，我国的百度、讯飞、华为、阿里等企业，都不惜重金，投入巨资，抢占人工智能的高地。

纵观当今人工智能，其技术发展之迅猛、政府热情之高涨、企业竞争之激烈、社会需求之巨大，均前所未有。正因为有这些坚实基础的强力支撑和社会需求的大力牵引，相信本轮人工智能热潮将会在一个较长时期内持续，并将为整个人类的科技进步和社会文明做出巨大贡献。

本次教材修订正是在这一大背景下进行的。希望修订后的第4版能不负时代所望，能对我国人工智能教育及人才培养有所贡献。其实，本教材自第1版以来，一直备受读者的支持与厚爱，前3版分别印刷了9次、9次、10次，共28次。同时，本教材先后被评为普通高等教育“十一五”国家级规划教材、“十二五”普通高等教育本科国家级规划教材，以及北京高等教育精品教材。在此，先向所有关心和支持过本教材建设，阅读或使用过本教材的各位专家、学者和读者表示深深的感谢。

本次修订的基本思路是：在保证教材内容系统性、完整性的前提下，尽量反映人工智能技术的最新进展，以适应人工智能技术发展的时代需求。修订后的第4版与第3版相比，主要改动情况如下：

（1）新增了集成学习的内容。集成学习作为一种集众多个体学习器学习结果为一体的机器学习方法，具有较多的优越性和较广的应用价值。

（2）新增了深层神经网络模型和深度学习方法。其中，深度学习方面较详细地讨论了深度卷积神经网络的学习问题。

（3）重写了ID3算法的算法描述及例子。在ID3算法中明确定义了信息增益的概念，给出了由信息增益引导的ID3算法的过程描述，并完善了ID3算法例子的整个求解过程。

（4）充实了Hopfield网络学习的推导过程。给出了Hopfield网络能量函数的完整描述和详细推导过程，改善了该内容的可读性和可理解性。

（5）补充了人工神经网络的生物机理。包括生物神经元的基本结构、工作方式、连接方法及突触传递过程等，为读者对人工神经网络的深入认知提供了机理方面的基础。

（6）修改和部分重写了第1章的有关内容。结合人工智能的最新进展，对原第1章的部分内容做了适当修改，并重写了1.5.9节。同时，把原1.6节改写为“新一代人工智能简介”，并作为附录A放在了全书最后，实际上是对全书内容的提升和深化。

（7）全书组织架构做了适当调整。本次修订撤销了原第3版中的第4章计算智能，有关内容在第4版中调整如下：

① 神经计算作为连接学习的人工神经网络基础，放到了第4版的第6章人工神经网络与连接学习中。

② 进化计算作为一种随机（或演化）搜索方法，放到了第4版的第4章智能搜索技术中。

③ 模糊计算作为模糊推理的数学和逻辑基础，放到了第4版的第3章不确定性知识系统中。

④ 粗糙集作为一种知识发现方法，放到了第4版的第5章机器学习中。

（8）调整了原第3章和第5章的次序。在调整后的第4版中，第3章为不确定性知识系统，第4章为智能搜索技术。

（9）删除了个别陈旧内容。结合人工智能发展，删除了第3版中的个别陈旧内容，如框架知识表示的推理过程、用归结反演求取问题答案等。

通过本次修订，第4版的知识更加系统、结构更加完整、内容更加新颖、方法更加明确、技术更趋可用、例子更切实际，可更好地满足人工智能教学需求。

修订后的第4版共8章，新增一个附录。其中：

第1章为人工智能概述，主要介绍人工智能的定义、形成过程、研究内容、学派之争、应用领域等，以建立起人工智能的初步概念。

第2章为确定性知识系统，包括确定性知识的表示和推理。

第3章为不确定性知识系统，给出了5种不确定性推理方法。

第4章为智能搜索技术，包括基于搜索空间的启发式搜索方法和基于生物演化过程的进化搜索方法。

第5章为机器学习，主要讨论基于符号主义人工智能的机器学习方法。

第6章为神经网络与连接学习，包括浅层神经网络模型及学习方法和深层神经网络模型及深度学习方法。

第7章为分布智能，主要讨论基于多Agent的分布智能技术及分布智能系统。

第8章为智能应用。包括对自然语言理解和专家系统两个方面的简单介绍。

附录A是新一代人工智能的简单介绍及讨论。新一代人工智能作为我国人工智能发展的国家战略，深化其认识、加深其理解，无论从人工智能理论、技术发展的角度，还是从人工智能研究、应用的角度都十分必要。

本教材可为任课老师免费提供电子课件和重要练习题的参考答案，需要者可到华信教育网http://www.hxedu.com.cn注册下载。

本教材建议总学时为48学时。其中，课堂教学42学时，实验6学时（实验内容由任课老师根据需要和条件确定），具体分配如下：

章次 1 2 3 4 5 6 7 8 理论课 实验课 合计

学时 2 7 10 8 6 5 2 2 42 6 48

若课时不足，可依此删除证据理论不确定性推理，概率推理中的贝叶斯网络近似推理，以及粗糙集等内容。

本教材的编写吸取了众多国内外同行的报告、演讲、专著、教材和论文中的精华。在此，谨向这些专家和作者表示真诚的感谢。

本教材的修订和出版，同样得到了电子工业出版社的大力支持，在此表示诚挚的谢意。马献英副编审参加了本书的资料、文稿整理和部分内容编写等工作，在此也深表感谢。

人工智能是一门正在快速发展的年轻学科，其研究和应用领域十分宽广。由于作者水平有限，加之时间仓促，教材中难免存在一些缺点和错误，恳请各位专家和读者不吝赐教。

王万森

2018年5月于北京