数据科学技术与应用

本书内容涵盖数据科学基础知识，介绍了数据科学的工作流程，包括数据采集、数据整理和探索、数据可视化和数据建模预测等技术，并通过文本、图像、语音等前沿应用，引入人工智能技术在数据科学领域应用的*新成果。全书设计收集了多个数据分析案例，采用Python及相关科学计算工具包介绍数据分析实现的方法，帮助读者通过实际应用理解数据科学知识，掌握实践技能，运用统计学、人工智能等技术解决实际问题。

本书通俗易懂、实例丰富、技术先进，配备丰富的教学资源，可作为各类大专院校数据科学、大数据技术的入门教材，计算机基础教学较高层次课程的教材，也可以作为数据科学实践的技术参考书。

本书内容涵盖数据科学基础知识，介绍了数据科学的工作流程，包括数据采集、数据整理和探索、数据可视化和数据建模预测等技术，并通过文本、图像、语音等前沿应用，引入人工智能技术在数据科学领域应用的*新成果。全书设计收集了多个数据分析案例，采用Python及相关科学计算工具包介绍数据分析实现的方法，帮助读者通过实际应用理解数据科学知识，掌握实践技能，运用统计学、人工智能等技术解决实际问题。本书通俗易懂、实例丰富、技术先进，配备丰富的教学资源，可作为各类大专院校数据科学、大数据技术的入门教材，计算机基础教学较高层次课程的教材，也可以作为数据科学实践的技术参考书。

宋晖博士、教授，长期从事Web数据挖掘、机器学习和智能信息处理方面的研究和教学工作，主持完成多项数据挖掘、智能分析和信息系统的研发，在数据科学方向有深厚的理论基础以及丰富的实践经验。

目 录
第1章 数据科学基础 （1）
1．1 数据科学概述 （1）
1．1．1 数据的力量 （1）
1．1．2 数据科学的知识结构 （3）
1．1．3 数据科学的工作流程 （4）
1．1．4 数据科学与大数据 （5）
1．2 Python数据分析工具 （7）
1．2．1 科学计算集成环境Anaconda （7）
1．2．2 Python编译环境 （7）
1．2．3 Jupyter Notebook （8）
1．3 Python语言基础 （10）
1．3．1 常用数据类型 （10）
1．3．2 流程控制 （11）
1．3．3 函数和方法库 （13）
综合练习题 （14）
第2章 多维数据结构与运算 （15）
2．1　多维数组对象 （15）
2．1．1　一维数组对象 （16）
2．1．2 二维数组对象 （17）
2．1．3 创建多维数组的常用方法 （19）
2．2　多维数组运算 （21）
2．2．1　基本算术运算 （21）
2．2．2 函数和矩阵运算 （22）
2．2．3 随机数组生成函数 （25）
2．3 案例：随机游走轨迹模拟 （26）
综合练习题 （29）
第3章 数据汇总与统计 （30）
3．1 统计基本概念 （30）
3．1．1 统计的含义 （30）
3．1．2 常用统计量 （31）
3．2 pandas数据结构 （33）
3．2．1 Series对象 （33）
3．2．2 Series数据访问 （34）
3．2．3 DataFrame对象 （37）
3．2．4 DataFrame 数据访问 （37）
3．3 数据文件读写 （41）
3．3．1　读写CSV和TXT文件 （41）
3．3．2 读取Excel文件 （44）
3．4 数据清洗 （45）
3．4．1　缺失数据处理 （46）
3．4．2 去除重复数据 （48）
3．5 数据规整化 （49）
3．5．1 数据合并 （49）
3．5．2 数据排序 （51）
3．6 统计分析 （53）
3．6．1　通用函数与运算 （53）
3．6．2 统计函数 （54）
3．6．3 相关性分析 （56）
3．6．4 案例：调查反馈表分析 （56）
综合练习题 （59）
第4章 数据可视化 （60）
4．1 Python绘图基础 （60）
4．1．1 认识基本图形 （60）
4．1．2 pandas快速绘图 （61）
4．1．3 Matplotlib精细绘图 （63）
4．2 可视化数据探索 （67）
4．2．1 绘制常用图形 （67）
4．2．2 绘制数据地图 （77）
综合练习题 （81）
第5章 机器学习建模分析 （83）
5．1 机器学习概述 （83）
5．1．1 机器学习与人工智能 （83）
5．1．2 Python机器学习方法库 （85）
5．2 回归分析 （85）
5．2．1 回归分析原理 （85）
5．2．2 回归分析实现 （86）
5．2．3 回归分析性能评估 （89）
5．3 分类分析 （91）
5．3．1 分类学习原理 （91）
5．3．2 决策树 （93）
5．3．3 支持向量机 （96）
5．4 聚类分析 （100）
5．4．1 聚类任务 （100）
5．4．2 K-means算法 （101）
5．4．3 聚类方法的性能评估 （104）
5．5 神经网络和深度学习 （106）
5．5．1 神经元与感知器 （106）
5．5．2 神经网络 （107）
5．5．3 神经网络分类实现 （108）
5．5．4 深度学习 （110）
综合练习题 （111）
第6章 文本数据处理 （112）
6．1 文本处理概述 （112）
6．1．1 文本处理的常见任务 （112）
6．1．2 文本处理的基本步骤 （113）
6．2 中文文本处理 （115）
6．2．1 中文分词 （115）
6．2．2 词性标注 （116）
6．2．3 特征提取 （117）
6．3 实例：垃圾邮件识别 （121）
6．3．1 数据来源 （121）
6．3．2 构建文本分类特征训练集 （122）
6．3．3 模型训练和验证 （123）
综合练习题 （124）
第7章 图像数据处理 （125）
7．1 数字图像概述 （125）
7．1．1 数字图像 （125）
7．1．2 数字图像类型 （126）
7．1．3 数字图像处理 （126）
7．2 Python图像处理 （127）
7．2．1 Python图像处理库 （127）
7．2．2 图像基本操作 （128）
7．3 案例：深度学习实现图像分类 （130）
7．3．1 卷积神经网络 （130）
7．3．2 深度学习库Keras （131）
7．3．3 用Keras实现图像分类 （133）
综合练习题 （137）
第8章 时序数据与语音处理 （138）
8．1 时序数据概述 （138）
8．1．1 时序数据特性 （138）
8．1．2 时序数据特征的提取 （139）
8．2 时序数据分析方法 （141）
8．2．1 时序数据分析过程 （141）
8．2．2 股票预测实例 （143）
8．3 语音识别实例 （147）
8．3．1 语音识别技术简介 （147）
8．3．2 语音识别中的时序数据处理 （148）
8．3．3 语音识别的实例 （150）
综合练习题 （151）
参考文献 （152）

前 言

本书属于上海市教育委员会组编的“高等学校‘互联网+’应用能力培养规划教材”。“互联网+”的普及使社会进入数据时代，社会、经济和生活逐渐被“数据化”，越来越多的政府、企业意识到数据正在成为组织最重要的资产，数据分析解读的能力成为组织的核心竞争力。通过分析数据，改善实施计划、过程和决策成为大学生应具备的基本技能。

本书面向新兴的数据科学，综合多学科背景，以实际应用案例驱动，围绕数据科学工作流程各步骤的核心问题，介绍从数据中获取知识的新思维方式、方法和技术。在传统的数据统计分析方法基础上，增加了基于人工智能机器学习的建模分析方法，通过图像、文本、语音等典型人工智能数据应用领域实例，将数据科学的技术前沿引入计算机基础教学，为大学生打开数据时代的创新之门。

本书结合编者多年来面向各专业大学生计算机教学的经验，将数据科学中的相关理论知识深入浅出，娓娓道来，尽可能避免深奥的数学表达，通过图表帮助读者理解数据分析方法的基本思想。各章节设计和引入了大量贴近生活、专业学习的实际案例，提出问题，设计分析方案，解读分析结果。本书采用Python实现数据分析过程，精心梳理了相关方法库，整理了尽可能简洁的核心函数集，使读者专注解决问题的方案，减少程序开发的困扰。

通过阅读和学习本书，使读者具备从数据中发现知识，“用数据说话”的思维方式，掌握根据实际问题，提出数据分析方案获取有效值分析结果的技能。

为了辅助教师开展教学，配合读者学习，本书在每节后附有思考与练习，每章后提供了综合练习题。电子工业出版社网站提供电子教案、教学和实验案例，习题解答等。

本书由宋晖教授和刘晓强教授主编，王洪亚、杜明、李柏岩、徐波等教师参与了部分章节的编写工作。岳万琛、戴云龙、刘栩彤和方智和等同学帮助整理了书稿的部分内容及制作教学资源，在此表示感谢。限于水平，不足之处在所难免，敬请读者和同行批评指正。