数据采集技术

前言
项目1
初识数据采集1
任务　采集网址数据2
练习题11
项目２
分析网络数据报13
任务1　安装Wireshark14
任务2　分析基础的网络数据20
任务3　分析ARP和IP27
任务4　分析TCP33
任务5　分析HTTP38
练习题45
项目３
操作数据库47
任务1　安装MySQL49
任务2　创建数据库55
任务3　查询数据64
任务4　创建索引69
练习题73
项目４
制作慕课网首页77
任务1　分析慕课网首页78
任务2　编写慕课网首页88
任务3　设置慕课网首页交互103
练习题114
项目５
抽取网页数据115
任务1　使用XPath提取网页数据116
任务2　使用正则表达式提取网页数据125
练习题131
项目６
初识Python133
任务1　安装Python并输出helloＷorld134
任务2　投掷骰子139
任务3　提取分解数据152
任务4　编写TCP通信程序157
练习题161
项目７
爬取网络数据163
任务1　使用requests库爬取网站164
任务2　写入读取数据177
练习题184
项目8
项目实战：网络爬虫185
任务1　爬取手机端数据186
任务2　爬取浪潮优派信息网站192
项目９
创建Spring Boot项目197
项目１０
项目实战：业务系统日志
数据采集211
项目１１
项目实战：数据库数据采集223
附录　数据采集相关法律228
参考文献231

随着互联网的飞速发展，各个行业产生了海量的数据信息。传统以处理器为中心的数据采集方法，由于其存储、管理的数据量相对较小，并不能很好地进行庞大数据的采集，而数据采集技术的出现使这一问题得到解决，能够实现对各种来源数据的采集，从而减轻了数据采集人员的工作量，提高了数据采集的效率。本书旨在为数据采集的实现提供技术指导，帮助开发人员快速实现海量数据的采集。
本书的特点
本书是1+X职业技能等级证书（数据采集）配套教材，内容涵盖1+X《数据采集职业技能等级标准》规定的技能要求。
本书从不同的视角对数据采集的各种方式以及典型的项目案例进行介绍，涉及数据采集的各个方面，主要包含初始数据采集、分析网络数据报、操作数据库、制作慕课网首页、抽取网页数据、初识Python、爬取网络数据、项目实战：网络爬虫、创建Spring Boot项目、项目实战：业务系统日志数据采集、项目实战：数据库数据采集，提高实际开发水平和项目能力。全书知识点的讲解由浅入深，使读者能有所收获，也保持了整本书的知识深度。
本书结构条理清晰、内容详细，每个项目都通过项目情景、学习目标、任务描述、任务步骤、知识储备、拓展任务、项目总体评价和练习题8个模块进行相应知识的讲解。其中，项目情景通过实际情景引出本项目学习的主要内容，学习目标对本项目内容的学习提出要求，任务描述对任务的实现进行概述，任务步骤对任务进行具体的实现，知识储备对任务中所需的知识进行讲解，拓展任务对所学知识进行补充，使学生全面掌握所学内容。
本书的主要内容
本书共11个项目。
项目1从数据采集概念开始，讲述了数据采集的定义、数据采集的流程、数据采集的方式等内容。
项目2详细介绍了网络数据报的分析过程，包含Wireshark的安装、基础网络数据的分析、ARP和IP的分析、TCP的分析以及HTTP的分析。
项目3详细介绍了数据库的使用，包括MySQL数据库简介、数据库的创建、数据的查询以及索引的创建等。
项目4详细介绍了慕课网首页的制作，包括HTML基础、CSS样式设置以及JavaScript交互实现等。
项目5详细介绍了网页数据的抽取，包括使用XPath提取网页数据、使用正则表达式提取网页数据。
项目6详细介绍了Python语言的使用，包括Python语言简介、基本语法、运算符、数据类型、函数、条件语句、循环语句、XML、JSON以及Socket模块使用等。
项目7详细介绍了网络数据爬取，包括爬虫的概念、类型、用途、实现以及urllib模块、requests模块、Beautiful Soup模块的使用。
项目8详细介绍了如何对手机端数据和浪潮优派信息网站数据进行爬取。
项目9详细介绍了Spring Boot项目的创建，包括业务系统概述、业务系统的行为数据产生及价值、业务系统的开发语言与技术框架以及J2EE框架下的业务系统开发模式。
项目10详细介绍了如何对业务系统日志数据进行采集。
项目11详细介绍了如何对数据库数据进行采集。
教学建议：
项　　目
操作学时
理论学时

项目1　初识数据采集
3
3

项目2　分析网络数据报
3
3

项目3　操作数据库
3
3

项目4　制作慕课网首页
4
4

项目5　抽取网页数据
3
3

项目6　初识Python
4
4

项目7　爬取网络数据
3
3

项目8　项目实战：网络爬虫
3
1

项目9　创建Spring Boot项目
3
3

项目10　项目实战：业务系统日志数据采集
3
1

项目11　项目实战：数据库数据采集
3
1



本书由浪潮优派科技教育有限公司组编，刘何秀和穆建平任主编，许文宪和徐翠娟任副主编，姬忠红、代敏和刘丛丛任参编。
由于编者水平有限，书中难免出现疏漏或不足之处，敬请读者批评指正。