数据分析——统计、描述、预测与应用

《数据分析——统计、描述、预测与应用》是一本系统论述数据分析的原则和方法的学习指南。本书宏观而且系统地给出了数据分析的一般理论与方法，这对于理解和进行数据分析实践极具参考价值。本书涉及的基本概念、基本理论与分析方法的相关术语通俗易懂，易于理解。学习本书无需统计或编程技术的知识基础。

本书三位作者均是数据分析领域的著名科学家，他们在书中深入浅出剖析了数据分析背后的方法论，并给出了练习与实例，便于读者动手实践。此外，作者们制作了实用的教学课件，可供相关高校计算机、大数据、金融学等专业授课使用。

本书介绍数据分析的统计基础、种类划分,并列举大量实例以说明数据分析方法和算法。内容主要分为4部分,第1部分为第1章,介绍一些概念,简单描述数据分析方法和一些实例; 第2部分包括第2~7 章,介绍描述性分析和数据预处理的主要方法,包括描述统计、多元描述分析、聚类以及频繁模式挖掘等;第3部分包括第8~12章,介绍预测性分析的主要方法,其中包括多种回归算法、二元回归、分类的性能测量以及基于概率和距离测量的方法,以及决策树、人工神经网络和支持向量机等较为先进的方法; 第4部分为第13章,利用描述和预测这两种方法,简单讨论文本、网页以及社交媒体的应用。

[葡]乔·门德斯·莫雷拉（João Mendes Moreira）

博士，葡萄牙波尔图大学（University of Porto）工程系教授，葡萄牙波尔图人工智能与决策支持实验室（LIAAD-INESC TEC, Porto）研究员。

[巴]安德烈·卡瓦略（André de Carvalho）

博士，巴西圣保罗大学（São Paulo）数学和计算机科学研究所教授。

[匈]托马斯·霍瓦斯（Tomáš Horváth）

博士，匈牙利布达佩斯罗兰大学（Eötvös Loránd University ）助理教授，与斯洛伐克科希策帕沃尔·约瑟夫·沙法利克大学（Pavol Jozef Šafárik University）长期进行科研合作。

在这个数据爆炸的时代，各种信息鱼龙混杂，要想从中找出有用的信息着实不易，《数据分析》给我们介绍了数据的基本概念和常见的数据分析工具、以及如何从数据中提取有价值的信息并对可能的结果进行预测。

——阿里巴巴高级数据处理专家 申文龙

随着通信技术的进步，以及NB-IOT、LORA等通信方式的出现，越来越多的节点接入了网络，我们已经进入了物联网时代，一个主要的表现形式就是巨大的数据量，如何处理数据以及如何从中提取信息？阅读了《数据分析》这本书后，相信你会受到一定的启发。

——字节跳动数据处理资深工程师 赵侍图

不管你是处于哪个行业，都免不了和数据打交道，谁能从有限的数据中得到更多的信息，谁就更可能取得成功。《数据分析》介绍了数据的基本知识，以及如何利用软件工具对数据进行处理。无论你是学生、工程师还是研究人员，都能从中找到对自己有用的内容。

——上海交通大学计算机系 贾坤

《数据分析》不仅仅是数据的“分析”，更是包含了数据的提取、处理以及预测，掌握了数据分析，也就掌握了一个强大的武器，会让你在这个激烈竞争的环境中取得先机，立于不败之地。

——昆士兰大学计算机系 张培良

第1部分背 景 介 绍

第1章我们可以用数据做什么

1.1大数据和数据科学

1.2大数据架构

1.3小数据

1.4什么是数据

1.5数据分析简单分类

1.6数据使用实例

1.6.1美国威斯康星州的乳腺癌数据

1.6.2波兰企业破产数据

1.7一个数据分析项目

1.7.1数据分析方法论简史

1.7.2KDD过程

1.7.3CRISPDM方法

1.8本书的组织结构

1.9本书面向的对象

第2部分理 解 数 据

第2章描述统计学

2.1尺度类型

2.2描述单元分析

2.2.1单元频数

2.2.2单元数据可视化

2.2.3单元统计

2.2.4常见的单元概率分布

2.3描述性双元分析

2.3.1两个定量属性

2.3.2两个定性属性，其中至少有一个是名义属性

2.3.3两个序数属性

2.4本章小结

2.5练习

第3章描述性多元分析

3.1多元频数

3.2多元数据可视化

3.3多元统计

3.3.1位置多元统计

3.3.2离散多元统计

3.4信息图和词云

3.4.1信息图

3.4.2词云

3.5本章小结

3.6练习

第4章数据质量和预处理

4.1数据质量

4.1.1缺失值

4.1.2冗余数据

4.1.3不一致数据

4.1.4噪声数据

4.1.5离群值

4.2转换为不同的尺度类型

4.2.1名义尺度转换为相对尺度

4.2.2序数尺度转换为相对或绝对尺度

4.2.3相对或绝对尺度转换为序数或名义尺度

4.3转换为不同尺度

4.4数据转换

4.5维度降低

4.5.1属性聚合

4.5.2属性选择

4.6本章小结

4.7练习

第5章聚类

5.1距离度量

5.1.1常见属性类型值之间的差异

5.1.2定量属性对象的距离度量

5.1.3非常规属性的距离度量

5.2聚类验证

5.3聚类技术

5.3.1K均值

5.3.2DBSCAN

5.3.3聚合层次聚类技术

5.4本章小结

5.5练习

第6章频繁模式挖掘

6.1频繁项集

6.1.1设置最小支持度阈值

6.1.2Apriori——基于连接的方法

6.1.3Eclat算法

6.1.4FPGrowth

6.1.5最大频繁项集和闭合频繁项集

6.2关联规则

6.3支持度与置信度的意义

6.3.1交叉支持度模式

6.3.2提升度

6.3.3辛普森悖论

6.4其他模式

6.4.1序列模式

6.4.2频繁序列挖掘

6.4.3闭合和最大序列

6.5本章小结

6.6练习

第7章描述性分析的备忘单和项目

7.1描述性分析备忘单

7.1.1数据总结

7.1.2聚类方法

7.1.3频繁模式挖掘

7.2描述性分析项目

7.2.1理解业务

7.2.2理解数据

7.2.3准备数据

7.2.4建模

7.2.5评价

7.2.6部署

第3部分预 测 未 知

第8章回归

8.1预测性能评估

8.1.1泛化

8.1.2模型验证

8.1.3回归的预测性能度量

8.2寻找模型参数

8.2.1线性回归

8.2.2偏差方差权衡

8.2.3收缩方法

8.2.4使用属性的线性组合方法

8.3技术选型

8.4本章小结

8.5练习

第9章分类

9.1二元分类

9.2分类的预测性能度量

9.3基于距离的学习算法

9.3.1k近邻算法

9.3.2基于案例的推理

9.4概率分类算法

9.4.1逻辑回归算法

9.4.2朴素贝叶斯（NB）算法

9.5本章小结

9.6练习

第10章其他预测方法

10.1基于搜索的算法

10.1.1决策树归纳算法

10.1.2回归决策树

10.2基于优化的算法

10.2.1人工神经网络

10.2.2支持向量机

10.3本章小结

10.4练习

第11章高级预测话题

11.1集成学习

11.1.1Bagging

11.1.2随机森林

11.1.3AdaBoost

11.2算法的偏差

11.3非二元分类任务

11.3.1单类分类

11.3.2多类分类

11.3.3排序分类

11.3.4多标签分类

11.3.5层次分类

11.4高级预测数据准备技术

11.4.1数据分类不均衡

11.4.2不完全目标标记

11.5具有监督可解释技术的描述和预测

11.6练习

第12章预测性分析的备忘单和项目

12.1预测性分析备忘单

12.2预测性分析项目

12.2.1业务理解

12.2.2数据理解

12.2.3数据准备

12.2.4建模

12.2.5评估

12.2.6部署

第4部分常见的数据分析应用

第13章文本、网络和社交媒体应用

13.1文本挖掘

13.1.1数据采集

13.1.2特征提取

13.1.3剩下的阶段

13.1.4趋势

13.2推荐系统

13.2.1反馈

13.2.2推荐任务

13.2.3推荐技术

13.2.4小结

13.3社交网络分析

13.3.1社交网络的表示

13.3.2节点的基本属性

13.3.3网络的基本和结构属性

13.3.4趋势和小结

13.4练习

附录A对CRISPDM方法的全面描述

参考文献

我们生活在这样一个历史时期，信息开始可以即时获得，服务是根据个人标准定制的，人们可以做让自己感觉良好的事情（如果不危及自己的生命的话）。每年，机器能够做得越来越多，我们的生活质量也得以提高，比以往任何时候都有更多的数据可用，而且将越来越多。这是一个我们可以从数据中提取比以往任何时候都多的信息并从中受益更多的时期。

在不同业务领域和不同机构中，不断出现新的数据收集方法。旧文件被数字化，新的传感器计算高速公路上来往的车辆并提取有用的信息，智能手机每时每刻都在通知我们所在的位置、可能的新机会以及和我们相关的社交网络或我们喜欢的东西。

无论我们在哪个领域工作，都有新数据可用： 学生如何评价教授的数据，每个病人疾病进化和最佳治疗方案的数据，能提高粮食的产量和质量的湿度、气候和土壤数据，有助于财富公平分配的宏观经济、投资和股票市场指标数据，能以更低价格和更高效率购买商品的数据，等等。

许多专业的学生都感受到了利用他们所拥有数据的必要性。在世界范围内，从生物学到信息科学，从工程学到经济学，从社会科学到农学，许多专业都开设了数据分析的新课程。

数据分析方面最早的一些书籍出现在几年前，都是数据科学家为其他数据科学家或数据科学专业学生编写的，对这些课程感兴趣的多数人都是计算机和统计学学生，之前的数据分析书籍主要是面向他们的。到了今天，对数据分析感兴趣的人越来越多。经济学、管理、生物、医药、社会学、工程以及其他专业的学生都有学习数据分析的意愿，本书不仅要为计算机和统计学学生提供一本新的、更友好的教科书，也要向那些可能对计算或统计学一无所知、但想以简单的方式学习这些学科的学生介绍数据分析。那些已经学习过统计学的人会了解本书中描述的一些内容，如描述性统计； 计算机专业的学生则会对伪代码非常熟悉。

读完这本书，你可能不会觉得自己像一个有能力创造新方法的数据科学家，但希望你能觉得自己像一个数据分析从业者，能够驱动一个数据分析项目，使用正确的方法解决实际问题。

[葡]乔·门德斯·莫雷拉（João Mendes Moreira）

[巴]安德烈·卡瓦略（André de Carvalho）

[匈]托马斯·霍瓦斯（Tomáš Horváth）