Python实战之数据库应用和数据获取

本书主要介绍MySQL基础、MySQL的基本操作、MongoDB基础和操作、文件的读写、爬虫基础、网站数据爬取实战等内容，让读者掌握通过Python操作关系型和非关系型数据库的方法，并通过爬虫技术获取相关数据。本书专门针对使用Python 操作数据库的新手或入门者，是作者学习和使用Python 操作数据库过程的体会和经验总结。涵盖实际开发中基本的知识要点，内容详尽，代码可读性及可操作性强。本书可以作为高等院校数据科学与大数据、计算机科学与技术等专业学生的教材，也可供财经金融管理类等专业学生参考。

刘宇宙，先后供职于上海海鼎、上海云卯、上海宏力达，目前供职于广州棒谷科技股份有限公司人工智能开发部，从事大数据研发。先后从事过卡系统的研发，云计算项目中IAAS系统的研发，大数据项目研发，物联网研发。对Java、Python有深入研究。Python技术爱好者，在CSDN发表原创Python博文多篇。

目 录
第1章 数据库简介 1
1．1 数据库的由来 1
1．2 数据库的发展历程 2
1．3 数据库的作用 3
1．4 关系型数据库 4
1．5 非关系型数据库 6
1．6 关系型数据库与非关系型数据库比较 7
1．7 小结 8
第2章 MySQL的安装和操作 9
2．1 MySQL简介 9
2．2 MySQL安装 10
2．3 MySQL基本操作 16
2．3．1 MySQL基本管理 16
2．3．2 MySQL数据库操作 18
2．3．3 MySQL数据类型 19
2．3．4 MySQL数据表操作 21
2．4 MySQL高级操作 27
2．5 小结 30
2．6 实战演练 30
第3章 PyMySQL的安装和操作 31
3．1 PyMySQL的介绍与安装 31
3．2 PyMySQL连接MySQL数据库 32
3．3 PyMySQL对MySQL数据库的基本操作 34
3．4 PyMySQL操作多表 40
3．5 高级封装 44
3．6 小结 51
3．7 实战演练 52
第4章 SQLAlchemy的安装和操作 53
4．1 SQLAlchemy简介 53
4．2 SQLALchemy的安装和连接 54
4．2．1 安装SQLAlchemy 54
4．2．2 使用SQLAlchemy连接MySQL数据库 55
4．2．3 映射声明 56
4．3 SQLAlchemy常用数据类型 56
4．4 创建类 57
4．5 创建模式 59
4．6 创建映射类的实例 61
4．7 创建会话 62
4．8 小结 64
4．9 实战演练 64
第5章 SQLAlchemy操作MySQL 65
5．1 SQLAlchemy对MySQL数据库的基本操作 65
5．1．1 添加对象 65
5．1．2 查询对象 70
5．1．3 更新对象 72
5．1．4 删除对象 74
5．2 SQLAlchemy的常用filter操作符 75
5．2．1 equals操作符 76
5．2．2 not equals 操作符 76
5．2．3 like操作符 77
5．2．4 and操作符 78
5．2．5 or操作符 78
5．2．6 is null操作符 78
5．2．7 is not null操作符 78
5．2．8 in操作符 79
5．2．9 not in操作符 79
5．3 SQLAlchemy的更多操作 79
5．3．1 返回列表和单项 79
5．3．2 嵌入使用SQL 80
5．3．3 计数 82
5．4 小结 83
5．5 实战演练 84
第6章 MongoDB基础 85
6．1 MongoDB简介 85
6．2 MongoDB的安装 86
6．3 MongoDB基本概念 92
6．3．1 文档 92
6．3．2 集合 93
6．3．3 数据库 93
6．3．4 数据类型 94
6．4 MongoDB基本操作 95
6．4．1 创建数据库 95
6．4．2 删除数据库 96
6．4．3 创建集合 97
6．4．4 删除集合 98
6．4．5 插入文档 98
6．4．6 更新文档 99
6．4．7 删除文档 101
6．4．8 MongoDB查询文档 103
6．4．9 条件操作符 105
6．4．10 $type操作符 107
6．4．11 limit()和skip()方法 108
6．4．12 排序 109
6．4．13 索引 109
6．4．14 聚合 111
6．5 小结 112
6．6 实战演练 112
第7章 Python操作MongoDB 113
7．1 pymongo安装 113
7．2 Python连接MongoDB 113
7．3 Python对MongoDB的基本操作 114
7．3．1 创建数据库 115
7．3．2 创建集合 115
7．3．3 查询文档 116
7．3．4 插入文档 119
7．3．5 更改文档 122
7．3．6 文档排序 125
7．3．7 删除文档 127
7．4 小结 131
7．5 实战演练 131
第8章 文件读写 132
8．1 with语句 132
8．2 TXT文件读写 133
8．3 CSV文件读写 136
8．4 JSON文件读写 139
8．5 Word文件读写 141
8．6 XML文件读取 144
8．7 CSV文件读取后插入MySQL数据库 145
8．8 CSV文件读取后插入MongoDB数据库 150
8．9 小结 154
8．10 实战演练 154
第9章 Python数据爬取 155
9．1 爬虫基础 155
9．2 库的安装与使用 156
9．2．1 pyecharts的安装与使用 156
9．2．2 jieba分词库的安装与使用 157
9．2．3 BeautifulSoup库的安装与使用 157
9．2．4 Requests库的安装与使用 158
9．3 分词与词频统计实战 158
9．3．1 整体结构设计 159
9．3．2 数据结构设计 159
9．3．3 数据的爬取与保存 160
9．3．4 制定关键词库 162
9．3．5 词频统计与图表生成 162
9．4 分词和词频统计的完整代码 164
9．5 小结 172
9．6 实战演练 172
第10章 项目实战：音乐数据爬取 173
10．1 获取全部歌手 173
10．2 获取歌手的歌曲数目 178
10．3 获取每首歌曲信息 184
10．4 歌曲下载 186
10．5 歌曲信息持久化 192
10．6 可视化展示 198
10．7 小结 200
附录A MySQL的四个默认库 201
附录B PyMySQL连接对象全量参数解释 205

前 言

在2017年和2018年分别出版了《Python 3.5从零开始学》和《Python 3.7从零开始学》两本书，很多读者朋友看后都问我是否可以再写一本Python进阶的书籍。起初自己并没有往这个方向继续写作的意愿，Python进阶的书籍写起来并不容易，需要长久的技术积累才可以写出一本优质的书籍，否则容易误导读者。不过在这个思考过程中，发现并没有太多的书籍单独编写Python与数据库交互的内容。在慎思之下，感觉很多技术人员或许需要这样一本书，来帮助他们更好地实现Python与数据库的互动。特别对于那些刚入门Python或有一定Python基础的读者，这样一本专门讲解与数据库交互的图书应该对他们的技术进阶有一定的帮助。

在2018年，电子工业出版社找到我，询问可否出一些Python方面的教材，在细细思考下，列出了三本感觉可以编写的Python方面的书籍的提纲。

第一本是Python基础方面的，确定好内容提纲后，最后命名为《Python实用教程》（ISBN 978-7-121-35884-5），主要编写Python基础方面的内容。该书于2019年由电子工业出版社出版。

第二本是本书，命名为《Python实战之数据库应用和数据获取》，主要编写Python与数据库交互和数据获取的内容。

第三本书确定好内容提纲后，最后命名为《Python实战之数据分析与处理》（ISBN 978-7-121-36347-4），将详细讲解Numpy、Pandas和Matplotlib三方面的内容，并结合这三方面的内容讲解具体的数据分析与处理的实战项目，将帮助读者向人工智能方向迈进。这本书是帮助读者通往人工智能的最后“一公里”。

这三本书将打造成一个三部曲，三本之间有一定联系。“Python快乐学习班”将贯穿这三本书，每本书中，“Python快乐学习班”的学生都有一个关注的主线，并以这个主线作为基础，在不同的地点完成不同知识点的学习。

《Python实用教程》是以“Python快乐学习班”的学生去往Python库游玩作为主线，在Python库所游玩的每个景点都与各章的知识点紧密相关，通过旅游的触景生情加深对应章节内容的理解。

本书则以数字校园作为主线，在数字校园中，“Python快乐学习班”的学生将接触不同的数据库，学习关系型数据库（MySQL）和非关系型数据库（MongoDB）的基本知识和基本操作方式，并使用Python实现对不同数据库的操作。后面几章会引入数据爬虫的相关内容，最后以在音乐池中使用爬虫网爬取数据鱼作为结束。

《Python实战之数据分析与处理》一书将以智慧城市作为主线，有兴趣的读者可以在完成本书的阅读后，前去阅读。

由于本书主要面向的是有一定Python基础的读者，所以本书中没有Python基础相关的内容。没有Python基础的读者可以先阅读《Python实用教程》。当然，由其他作者编写的有关Python基础方面的书籍也可以。之所以推荐本人编写的图书，主要是因为本书的一些内容和本人编写的前面三本书有一定的联系，购买前面三本中的任何一本阅读，可以帮助你更快速理解本书的部分内容。

技术人员特别是编程人员掌握一定的数据库操作技术是非常有必要的。当然，研发人员不要求对数据库的操作达到大部分DBA的熟练程度，但需要可以完成在实现业务上对数据库的操作，就是掌握基本业务需求中的数据库操作。本书的目的是帮助没有数据库基础的读者掌握基本的数据库操作，借助一些简单项目，基本实现对数据库的增、删、改、查等操作。本书也可以帮助数据库基础薄弱的读者提升数据库的操作熟练度。

本书将关系型数据库和非关系型数据的介绍分开，先介绍关系型数据库（MySQL）的基本概念及Python操作MySQL数据库的基本示例，再介绍非关系型数据库（MongoDB）的基本概念及Python操作MongoDB的基本示例。后面具体涉及数据库操作的示例中则包含MySQL和MongoDB的操作。读者若不习惯其中一种数据库的操作方式，可以选择忽略这种数据库的操作，待有兴趣时再回看。

本书在写作过程中参考了众多参考书籍和网络资源，特别在当今的互联网环境下，很多热爱分享的技术人员在网络上分享了很多有用的信息，本书的编写过程中也从中受益颇多，在此对那些热爱分享的技术人员表示衷心的感谢。

本书的特色

本书主要介绍MySQL基础、MySQL的基本操作、MongoDB基础和操作、文件的读取、爬虫基础、网站数据爬取实战等内容，让读者掌握通过Python操作关系型和非关系型数据库的方法，并通过爬虫技术获取相关数据。

本书专门针对使用Python操作数据库的新手或刚入门者量身定做，是作者学习和使用Python操作数据库过程中的体会和经验总结，涵盖实际开发中基本的知识要点，内容详尽，代码可读性及可操作性强。

本书的另一个特色是，使用通俗易懂的描述和丰富的示例代码，并结合数字校园的一些事件，让本书的内容呈现尽可能生动有趣，让一些原本复杂的处理能通过另一种辅助解释得以简单化，使读者学起来轻松，充分感受到本书学习的乐趣和魅力。

本书的内容

本书共10章，各章内容安排如下：

第 1 章主要介绍一些数据库的发展历程及数据库的一些基本概念，为大家学习后续章节做一些铺垫。

第 2 章以IT大讲堂座位安排作为开端，而后主要讲解了MySQL的一些基本知识，及部分在实际应用中使用频率比较高的高级操作。

第3章以工作人员做会议安排，引出Python通过PyMySQL操作MySQL数据库的各种基本示例。主要讲解的是Python通过PyMySQL操作MySQL的各种基本示例，都是一些实战性的操作。

第 4 章网上选座示例作为开端，而后主体内容主要讲解的是SQLAlchemy中的一些基本概念及SQLAlchemy的基本操作。

第 5 章主要讲解通过SQLAlchemy具体操作MySQL数据库的一些基本使用。Python通过SQLAlchemy操作MySQL类似学生网上选座的操作。

第 6 章主要讲解了MongoDB的一些基本知识，包括MongoDB了解、MongoDB安装及MongoDB基本操作。MongoDB的操作犹如对mongo山上各种植物的操作。

第 7 章主要讲解的是通过pymongo模块操作MongoDB。通过pymongo如专业人员打理mongo山一样打理MongoDB库。

第 8 章主要讲解的是对各种文件数据的读取和写入，以及文档文件数据和关系型数据库（MySQL）及非关系型数据库（MongoDB）的交互。如选择合适的路线穿梭于数字校园一样选择合适的文档处理方式。

第 9 章主要介绍几个新的功能点及这几个新功能点的使用方式，并结合爬虫程序对这几个新功能点加以应用。简而言之，即数据爬取工具的打造。

第 10 章主要介绍通过爬取QQ音乐网站的数据，对前面所学内容做进一步巩固。同时通过该项目实现，了解网站数据的爬取。使用爬虫网，从音乐池中捕获数据鱼。

读者对象

有一定Python 3.x基础，但没有数据库基础或没有数据库实战经验的人员。

有Python基础，想进一步学习使用Python爬取数据的人员。

有一些Python基础后，想更进一步学习和了解Python 3.x应用于数据库的程序员。

Python 3.x网课、培训机构、中学及大专院校的学生。

关于本书

由我编写清华大学出版社出版的《Python 3.5 从零开始学》《Python 3.7 从零开始学》这两本书在市场上已经获得很多读者的欢迎，《Python 实用教程》一书已由电子工业出版社出版并投入于教学。

本书的适宜人群是有一定Python基础，但没有数据库基础或数据库基础非常薄弱的读者，对适宜人群的学历没有任何要求，只要你有兴趣即可，当然，也希望你是可以真正看懂本书内容的读者，否则对你而言，阅读本书就是浪费时间，本书可能会给你留下一个不好的印象。

本书在编写过程中尽量以简单易懂的语言进行文本内容的组织，书中难免有编写错误的地方，希望读者可以帮助指正。写书过程中虽然自己非常小心，但是基于自身学识和技术的局限，在对一些难点的语言描述上，依然会有所偏差或错误，望读者朋友能够理解，或是告知正确的描述方式，或是给予正确的指点，也可以帮助其他读者朋友及作者少走一些弯路，本人也将致以非常诚挚的谢意。

致谢

虽然已经有了三本书的编写经验，相对于前三本书，本书编写的内容是新的知识点，所应对的也是新的人群，所以在本书的写作过程中出现了很多新的困难以及写作方式上的困惑，好在这是一个信息互联的时代，这让笔者有机会参阅很多相关信息，也让很多困难得以较好地解决。

在写作过程中参考了一些相关资源上的写作手法，这些资源上有一些技术点使用了非常形象生动的方式来阐述，参考的内容主要包括《Python 3.5从零开始学》《Python 3.7从零开始学》《Python实用教程》以及W3C等资源。在此，对他们的编者表示真诚的感谢。

同时感谢刘艳老师，刘艳老师参与了本书几个章节的修改及校稿，对本书的一些内容做了指正和写作意见，在刘艳老师的帮助下，本书的编写进程有所提升。非常感谢刘艳老师的修改意见。

最后感谢《Python 3.5从零开始学》《Python 3.7从零开始学》读者们的鼓励和支持，正因为有你们通过QQ、邮件、博客留言等方式不断要求出一本高于基础内容的书籍，才有本书的面世。也希望你们依然保持不断求知的心态，保持不断要求自己往更高方向学习的热情，往更广阔的知识海洋不断探索。

CSDN技术博客：yuzhouliu

技术问答Email：jxgzyuzhouliu@163.com

随书源码地址：http://github.com/liuyuzhou/databasesourcecode