SPSSModeler数据挖掘方法及应用

一、采用SPSS Modeler 18中文版进行讲解，通俗易懂、理论和应用实践相结合。

二、突出算法基本思路、软件操作使用和结果解读是本书的重要特征。

三、在章节安排上进行了调整。首先，基于应用场景广泛性的考虑，压缩了第2版的部分内容，如2.3节、4.7节等；其次，第3版略去了软件版本升级中未保留下来的模块的相关章节内容，如9.3节等；再次，依据数据挖掘方法论的业务理解、数据理解、数据准备、建立模型、方案评估、方案实施，将第2版的第3、4章进行了重排，构成了第3章SPSS Modeler的数据理解和第4章SPSS Modeler的数据准备相关内容；最后，Logistic回归分析和判别分析等现代统计方法在数据挖掘和机器学习中日渐普及，为突出方法的重要性，将第2版8.1节和8.2节独立成章。

四、增加了一些重要的建模策略和方法，极大丰富了教材内容。

数据挖掘是大数据分析中*活跃的地带。SPSS Modeler充分利用计算机系统的运算处理能力和图形展现能力，将数据挖掘方法、应用与工具有机地融为一体，成为内容全面、功能强大、操作友好的数据挖掘软件产品，是大数据分析的理想工具。本书以数据挖掘的实践过程为主线，系统介绍了决策树、人工神经网络、支持向量机、Logistic回归、判别分析、贝叶斯网络、聚类分析等一系列经典数据挖掘方法，以及数据整理和降维处理等必备知识，同时给出了SPSS Modeler实现的全过程。讲解方法从易到难，说明问题由浅入深，软件操作详细全面。本书力求以*通俗的方式阐述数据挖掘方法的核心思想与基本原理，同时配合SPSS Modeler 18（中文版）软件操作说明，希望读者能够直观理解方法的本质，快速掌握软件使用技巧，并应用到数据挖掘实践中。本书提供实例数据和电子课件，读者可登录华信教育资源网www.hxedu.com.cn免费下载使用。本书可作为高等院校管理类、财经类、计算机类专业本科生和研究生的数据挖掘教材，也可作为商业管理、金融保险、社会教育等行业进行数据挖掘实践的参考用书。

薛薇，工学硕士，经济学博士，中国人民大学应用统计学科研究中心副主任，中国人民大学统计学院副教授。主要研究领域：机器学习和文本挖掘、复杂网络建模等。关注统计和数据挖掘算法及软件应用。涉足企业客户终身价值测算，基于文本挖掘的热点事件主题提取和分类，金融、贸易等复杂网络动态建模等方面。主要代表性教材：《SPSS统计分析方法及应用》、《R语言数据挖掘方法及应用》、《R语言：大数据分析中的统计方法及应用》、《SPSS Modeler数据挖掘方法及应用》等。

目 录
第1章 数据挖掘和SPSS Modeler使用概述 1
1．1 数据挖掘的产生背景 1
1．1．1 海量大数据的分析需求催生数据挖掘 1
1．1．2 应用对理论的挑战催生数据挖掘 2
1．2 什么是数据挖掘 4
1．2．1 数据挖掘和数据库中的知识发现 5
1．2．2 数据挖掘方法论 6
1．2．3 数据挖掘的任务和应用 9
1．2．4 数据挖掘得到的知识形式 11
1．2．5 数据挖掘算法的分类 14
1．3 SPSS Modeler软件概述 17
1．3．1 SPSS Modeler的数据流 17
1．3．2 SPSS Modeler的窗口 19
1．3．3 数据流的基本管理 21
1．3．4 缓存节点和超节点 24
1．3．5 从一个示例看SPSS Modeler的使用 25
第2章 SPSS Modeler的数据读入和数据集成 31
2．1 变量类型 31
2．1．1 从数据挖掘角度看变量类型 31
2．1．2 从计算机存储角度看变量类型 32
2．2 读入数据 32
2．2．1 读自由格式的文本文件 33
2．2．2 读Excel电子表格数据 36
2．2．3 读SPSS格式文件 37
2．3 数据集成 38
2．3．1 数据的纵向合并 38
2．3．2 数据的横向合并 40
2．3．3 数据源替换 43
第3章 SPSS Modeler的数据理解 45
3．1 变量说明 45
3．1．1 变量的重新实例化 46
3．1．2 有效变量值和无效值调整 47
3．1．3 变量角色的说明 49
3．2 数据质量的评估和调整 50
3．2．1 数据的基本特征与质量评价报告 50
3．2．2 变量值的调整 53
3．2．3 数据质量管理 56
3．3 数据的排序 58
3．3．1 单变量排序 58
3．3．2 多重排序 59
3．4 数据的分类汇总 60
3．4．1 单变量分类汇总 60
3．4．2 多重分类汇总 61
第4章 SPSS Modeler的数据准备 62
4．1 变量变换 62
4．1．1 CLEM表达式 62
4．1．2 变量值的重新计算 65
4．1．3 变量类别值的调整 67
4．2 变量派生 68
4．2．1 生成新变量 68
4．2．2 生成服从正态分布的新变量 72
4．2．3 派生哑变量 75
4．3 数据精简 76
4．3．1 随机抽样 76
4．3．2 根据条件选取样本 79
4．4 建模中的数据集处理策略 80
4．4．1 样本的平衡处理 80
4．4．2 样本子集的划分 81
第5章 SPSS Modeler的基本分析 85
5．1 数值型变量的基本分析 85
5．1．1 计算基本描述统计量 85
5．1．2 绘制散点图 88
5．1．3 绘制线图 91
5．2 两分类型变量相关性的研究 93
5．2．1 两分类型变量相关性的图形分析 93
5．2．2 两分类型变量相关性的数值分析 98
5．3 两总体的均值比较 102
5．3．1 两总体均值比较的图形分析 102
5．3．2 独立样本的均值检验 104
5．3．3 配对样本的均值检验 108
5．4 RFM分析 110
5．4．1 什么是RFM分析 110
5．4．2 RFM汇总 110
5．4．3 计算RFM得分 112
第6章 SPSS Modeler的数据精简 115
6．1 变量值的离散化处理 115
6．1．1 无监督的数据分组 115
6．1．2　有监督的数据分组 116
6．1．3 变量值离散化处理的应用示例 119
6．2　特征选择 122
6．2．1　特征选择的一般方法 123
6．2．2　特征选择的应用示例 124
6．3 因子分析 128
6．3．1 什么是因子分析 128
6．3．2　因子提取和因子载荷矩阵的求解 131
6．3．3　因子的命名解释 134
6．3．4　计算因子得分 135
6．3．5　因子分析的应用示例 136
第7章 分类预测：SPSS Modeler的决策树 141
7．1 决策树算法概述 141
7．1．1 什么是决策树 141
7．1．2 决策树的几何理解 143
7．1．3 决策树的核心问题 143
7．2 SPSS Modeler的C5．0算法及其应用 146
7．2．1 信息熵和信息增益 146
7．2．2 C5．0决策树的生长算法 147
7．2．3 C5．0决策树的剪枝算法 152
7．2．4 C5．0决策树的基本应用示例 154
7．2．5 C5．0的推理规则集 158
7．2．6 损失矩阵 163
7．2．7 N折交叉验证和Boosting技术 165
7．3 SPSS Modeler的分类回归树及其应用 169
7．3．1 分类回归树的生长过程 169
7．3．2 分类回归树的剪枝过程 171
7．3．3 损失矩阵对分类回归树的影响 174
7．3．4 分类回归树的基本应用示例 174
7．3．5 分类回归树的交互建模 178
7．3．6 交互建模中分类回归树的评价 180
7．4 SPSS Modeler的CHAID算法及其应用 185
7．4．1 CHAID算法 185
7．4．2 穷举CHAID算法 186
7．4．3 CHAID算法的剪枝 187
7．4．4 CHAID算法的应用示例 187
7．5 SPSS Modeler的QUEST算法及其应用 189
7．5．1 QUEST算法 189
7．5．2 QUEST算法的应用示例 191
7．6 模型的对比分析 192
7．6．1 不同模型的误差对比 192
7．6．2 不同模型的收益对比 195
第8章　分类预测：SPSS Modeler的人工神经网络 198
8．1　人工神经网络算法概述 198
8．1．1　人工神经网络的概念和种类 198
8．1．2　人工神经网络中的节点和意义 200
8．1．3　人工神经网络建立的一般步骤 202
8．2 SPSS Modeler的B-P反向传播网络 204
8．2．1 感知机模型 204
8．2．2 B-P反向传播网络的特点 207
8．2．3 B-P反向传播算法 209
8．2．4 B-P反向传播网络的其他问题 212
8．3 SPSS Modeler的B-P反向传播网络的应用 214
8．3．1 基本操作 215
8．3．2 结果说明 215
8．4 SPSS Modeler的径向基函数网络及其应用 216
8．4．1 径向基函数网络中的隐节点和输出节点 217
8．4．2 径向基函数网络的学习过程 217
8．4．3 径向基函数网络的应用示例 219
第9章　分类预测：SPSS Modeler的支持向量机 221
9．1　支持向量分类的基本思路 221
9．1．1　支持向量分类的数据和目标 221
9．1．2　支持向量分类的三种情况 223
9．2　线性可分问题下的支持向量分类 224
9．2．1　如何求解超平面 224
9．2．2　如何利用超平面进行分类预测 226
9．3　广义线性可分下的支持向量分类 227
9．3．1　如何求解超平面 227
9．3．2　可调参数的意义：把握程度和精度的权衡 228
9．4　线性不可分下的支持向量分类 229
9．4．1　线性不可分的一般解决途径和维灾难问题 229
9．4．2　支持向量分类克服维灾难的途径 230
9．5　支持向量回归 232
9．5．1　支持向量回归与一般线性回归：目标和策略 232
9．5．2　支持向量回归的基本思路 233
9．6　支持向量机的应用 235
9．6．1　基本操作 235
9．6．2　结果解读 236
第10章　分类预测：SPSS Modeler的Logistic回归分析 238
10．1　Logistic回归分析概述 238
10．2　二项Logistic回归分析 239
10．2．1　二项Logistic回归方程 239
10．2．2　二项Logistic回归方程系数的含义 241
10．2．3　二项Logistic回归方程的检验 242
10．2．4　二项Logistic回归分析中的虚拟自变量 246
10．3　二项Logistic回归分析的应用 246
10．3．1　基本操作 247
10．3．2　结果解读 249
10．4　多项Logistic回归分析及其应用 257
10．4．1　多项Logistic回归分析概述 257
10．4．2　多项Logistic回归分析的应用示例 257
第11章 分类预测：SPSS Modeler的判别分析 262
11．1 距离判别 262
11．1．1 距离判别的基本思路 262
11．1．2 判别函数的计算 263
11．2 Fisher判别 264
11．2．1 Fisher判别的基本思路 264
11．2．2 Fisher判别的计算 266
11．3 贝叶斯判别 267
11．3．1 贝叶斯判别的基本思路 267
11．3．2 贝叶斯判别的计算 267
11．4 判别分析的应用 268
11．4．1 基本操作 268
11．4．2 判别分析的准备工作 269
11．4．3 结果解读 273
第12章 分类预测：SPSS Modeler的贝叶斯网络 279
12．1 贝叶斯方法基础 279
12．1．1 贝叶斯概率和贝叶斯公式 279
12．1．2 朴素贝叶斯分类法 280
12．2 贝叶斯网络概述 282
12．2．1 什么是贝叶斯网络 282
12．2．2 贝叶斯网络的组成及构建 283
12．2．3 贝叶斯网络的分类预测 284
12．3 TAN贝叶斯网络 285
12．3．1 TAN贝叶斯网络的结构 285
12．3．2 TAN贝叶斯网络结构的学习 286
12．3．3 TAN贝叶斯网络的参数估计 288
12．4 马尔科夫毯网络 290
12．4．1 马尔科夫毯网络的基本概念 290
12．4．2 条件独立检验 291
12．4．3 马尔科夫毯网络结构的学习 292
12．4．4 马尔科夫毯网络的分类预测 293
12．5 贝叶斯网络的应用 293
12．5．1 基本操作 293
12．5．2 结果解读 295
第13章 探索内部结构：SPSS Modeler的关联分析 299
13．1 简单关联规则及其有效性 299
13．1．1 简单关联规则的基本概念 299
13．1．2 简单关联规则的有效性和实用性 301
13．2 SPSS Modeler的Apriori算法及其应用 305
13．2．1 产生频繁项集 305
13．2．2 依据频繁项集产生简单关联规则 307
13．2．3 Apriori算法的应用示例 307
13．3 SPSS Modeler的序列关联及其应用 312
13．3．1 序列关联中的基本概念 312
13．3．2 Sequence算法 313
13．3．3 序列关联的时间约束 316
13．3．4 Sequence算法的应用示例 317
第14章 探索内部结构：SPSS Modeler的聚类分析 320
14．1 聚类分析的一般问题 320
14．1．1 聚类分析的提出 320
14．1．2 聚类算法 320
14．2 SPSS Modeler的K-Means聚类及应用 321
14．2．1 K-Means对“亲疏程度”的测度 321
14．2．2 K-Means聚类过程 321
14．2．3 K-Means聚类的应用示例 324
14．3 SPSS Modeler的两步聚类及其应用 327
14．3．1 两步聚类对“亲疏程度”的测度 328
14．3．2 两步聚类过程 328
14．3．3 聚类数目的确定 330
14．3．4 两步聚类的应用示例 332
14．4 SPSS Modeler的Kohonen网络聚类及其应用 333
14．4．1 Kohonen网络聚类机理 333
14．4．2 Kohonen网络聚类过程 335
14．4．3 Kohonen网络聚类的应用示例 337
14．5 基于聚类分析的离群点探索 342
14．5．1 多维空间基于聚类的离群点诊断方法 343
14．5．2 多维空间基于聚类的离群点诊断应用示例 345

前 言

数据挖掘和机器学习的理论和软件，是大数据分析背景下数据分析实践者所必备的。SPSS Modeler是当下数据挖掘和机器学习的主流商业软件，其友好的用户操作界面、丰富的数据挖掘和机器学习算法、卓越的计算能力，是面向领域最终用户落地数据挖掘实践的理想工具。

在保持《SPSS Modeler数据挖掘方法及应用（第2版）》通俗易懂、理论和应用实践相结合的原有风格基础上，第3版在章节安排和内容上进行了较大调整，说明如下。

第一，采用SPSS Modeler 18中文版进行讲解。

中文版本排除了国内读者软件操作中的语言困难，便于将精力集中在方法理论理解和应用上。

第二，在章节安排上进行了调整。

首先，基于应用场景广泛性的考虑，压缩了第2版的部分内容，如2.3节、4.7节等；其次，第3版略去了软件版本升级中未保留下来的模块的相关章节内容，如9.3节等；再次，依据数据挖掘方法论的业务理解、数据理解、数据准备、建立模型、方案评估、方案实施，将第2版的第3、4章进行了重排，构成了第3章SPSS Modeler的数据理解和第4章SPSS Modeler的数据准备相关内容；最后，Logistic回归分析和判别分析等现代统计方法在数据挖掘和机器学习中日渐普及，为突出方法的重要性，将第2版8.1节和8.2节独立成章。

第三，增加了一些重要的建模策略和方法，极大丰富了教材内容。

例如，增加了实现数据降维的因子分析，并将相关数据精简的内容独立成章；增加了对Bagging建模策略的说明；增加了数据挖掘中广泛使用的支持向量机的相关章节；增加了以概率统计为核心，且在数据挖掘和机器学习中非常行之有效的朴素贝叶斯分类方法、贝叶斯网络等相关内容。

总之，突出算法基本思路、软件操作使用和结果解读是本书的重要特征。读者学习和掌握SPSS Modeler软件应体现三个层面：首先是软件操作层面，通过实际操作快速掌握软件的使用方法和处理步骤；其次是结果分析层面，通过案例演示明晰软件输出结果的含义；最后是方法论层面，通过对算法基本思路的了解提高方法的应用水平。

因本书重点介绍主流的数据挖掘和机器学习算法，并没有对其中涉及的统计方法做详细讨论，如有需要，读者可参考电子工业出版社出版的《SPSS统计分析方法及应用》等书籍。本书适合从事数据分析的各应用领域的读者，尤其是从事商业分析、经济管理、社会研究、人文教育等行业的相关人员阅读；同时，也可作为高等院校数据科学和大数据应用、统计学、管理和财经类等专业本科生和研究生的数据挖掘和机器学习课程教材。

编著者