国之重器出版工程大数据环境下的物联网系统

本书以当前有代表性的物联网系统与大数据技术融合发展趋势为主线，结合已发布的若干重点物联网基础通用技术的国家标准，系统地介绍了在大数据环境下的物联网技术架构、数据感知与数据融合、协同信息处理、大数据管理架构与关键技术及融合大数据的智能物联网系统发展趋势和应用实例。
全书共分13章，第1章介绍物联网的发展历程与大数据，第2章进行了物联网技术体系架构的多视图分析，第3章和第4章介绍了物联网系统的数据感知与数据融合方法及协同信息处理，第5章到第10章具体介绍了物联网系统的大数据管理架构和NoSQL数据库、计算批处理、交互式查询、流式计算、数据交换和共享等关键技术，第11章简单介绍了物联网系统的性能评价，第12章和第13章介绍了物联网系统的智能化演进和应用。
本书可供从事物联网应用系统研究与设计的工程技术人员参考，也可作为电子信息类专业本科生和研究生的教材。

张晖，工学博士，国家物联网基础标准工作组秘书长，物联网发展专家咨询委员会专家委员，中国电子技术标准化研究院技术总监，内蒙古自治区大数据发展管理局局长助理，内蒙古自治区和林格尔新区专家咨询委员会副主任委员。主持或参与多项国家科技重大专项课题、863课题的研究工作。作为编写组主要成员参与编写了国家工信部组织的《物联网十二五发展规划》和国家发改委组织的《关于促进物联网健康有序发展的指导意见》。曾主办或参与信息技术设备、网络技术等多项国家和行业标准的制修订工作。作为新一代宽带无线移动通信国家科技重大专项和发改委物联网专项等项目评审专家。担任全国信标委传感器网络标准工作组副组长，负责组织传感器网络国家和行业标准的研究制定工作；担任国家物联网基础标准工作组秘书长，在国标委和国家发改委的领导下负责组织我国物联网领域基础性和通用性标准的研究制定工作。在《软件学报》等权威学报和国内外核心期刊发表论文十余篇，出版《物联网技术标准化概述》等专著。对物联网、智慧城市和智能制造等信息技术专业领域有较深理解和实施经验。

第 1章 物联网的发展历程与大数据 001
1．1 物联网概念的演化与内涵解析 001
1．1．1 物联网概念的起源 001
1．1．2 物联网定义的形成 002
1．2 物联网产业的发展历程 005
1．2．1 射频识别产业的兴起 005
1．2．2 传感器及智能终端产业的发展 006
1．2．3 网络通信产业的发展 008
1．2．4 物联网中的数据处理 009
1．2．5 物联网云平台的应用 010
1．3 物联网系统与大数据技术的深入融合 011
1．3．1 联网设备带来数据量的急剧增长 012
1．3．2 物联网系统中大数据的特征 013
1．3．3 物联网系统专用的大数据处理平台 015
1．3．4 工业物联网应用与大数据的融合 016
1．4 物联网产业面临的挑战与机遇 018
1．4．1 物联网发展面临的主要挑战 018
1．4．2 物联网将迈入全智能化的新阶段 021
第 2章 物联网技术体系架构的多视图分析 025
2．1 物联网系统的技术架构 027
2．1．1 总体技术架构 027
2．1．2 感知技术 027
2．1．3 网络技术 028
2．1．4 支撑平台技术 029
2．1．5 应用技术 030
2．1．6 公共技术 030
2．2 物联网系统的概念模型 032
2．2．1 概念模型的总体构成 032
2．2．2 域的描述及关联关系 033
2．3 物联网系统的功能体系架构 035
2．3．1 系统功能实体构成 035
2．3．2 功能实体简要描述 035
2．3．3 系统部署功能视图 037
2．4 物联网系统的通信参考架构 038
2．4．1 通信功能实体构成 038
2．4．2 通信功能实体描述 039
2．4．3 通信网络参考视图 040
2．5 物联网系统的数据参考架构 042
2．5．1 数据功能实体构成 042
2．5．2 数据功能实体描述 042
2．6 物联网系统的应用体系架构 043
2．6．1 角色、子角色和活动 043
2．6．2 六域模型的映射关系 047
2．6．3 物联网系统应用实例 048
2．7 物联网产品生命周期的安全参考模型 049
第3章 物联网系统的数据感知与数据融合 051
3．1 感知设备的描述 051
3．1．1 感知设备的类型 051
3．1．2 感知设备的硬件组成 055
3．1．3 感知设备的工作原理 057
3．2 感知设备的数据采集 061
3．2．1 使用传感器进行数据采集 062
3．2．2 感知数据的传输与组网 064
3．2．3 数据采集的描述 068
3．3 感知数据的基本特性 089
3．3．1 感知数据的主要类型 089
3．3．2 感知数据的特征分析 091
3．3．3 感知数据的数据模型 092
3．4 感知数据的信息融合 093
3．4．1 信息融合的必要性 093
3．4．2 信息融合概念模型 094
3．4．3 各级信息融合过程 095
3．4．4 物联网系统中的信息融合 104
第4章 物联网的协同信息处理 108
4．1 协同信息处理的参考模型 108
4．1．1 协同信息处理的概念和内涵 108
4．1．2 协同信息处理的二维参考模型 109
4．1．3 协同信息处理的三维参考模型 110
4．2 协同信息处理的主要实体及处理过程 111
4．2．1 实体功能框架 111
4．2．2 协同信息处理实体 111
4．2．3 协同信息处理过程 113
4．3 协同信息处理的支撑服务及实例 115
4．3．1 协同信息处理的服务框架 115
4．3．2 支撑物联网协同信息处理的核心服务 116
4．3．3 支撑物联网协同信息处理的增强服务 116
4．3．4 协同信息处理支撑的周界防入侵系统应用 117
第5章 物联网系统的大数据管理架构 120
5．1 物联网系统中的大数据特征与架构 120
5．1．1 物联网大数据的特征 121
5．1．2 物联网大数据分析平台的逻辑架构 122
5．2 物联网系统中的大数据管理 124
5．2．1 物联网大数据云平台PaaS层数据处理 124
5．2．2 物联网大数据存储与管理 125
5．2．3 分布式文件系统关键技术 127
第6章 物联网大数据的NoSQL数据库 131
6．1 NoSQL数据库概述 131
6．1．1 NoSQL数据库的优势 131
6．1．2 NoSQL数据库的劣势 132
6．2 HBase数据库 133
6．2．1 HBase简介 133
6．2．2 HBase的应用场景 133
6．2．3 HBase Shell常用的终端命令 133
6．2．4 HBase的API介绍 134
6．2．5 HBase模式的数据模型 136
6．2．6 分布式模式的HBase 137
6．2．7 HBase和MapReduce 140
6．2．8 HBase的可靠性和可用性 141
6．2．9 HBase的优化 141
6．3 MongoDB数据库 142
6．3．1 MongoDB简介 142
6．3．2 MongoDB的特点 143
6．3．3 MongoDB的体系结构 143
6．3．4 MongoDB目前存在的常见问题 144
6．3．5 MongoDB的Replica Set存在的隐含问题 145
6．3．6 MongoDB分片模式的隐含问题 145
6．3．7 MongoDB的优点 146
6．3．8 MongoDB的缺点 146
6．3．9 MongoDB小结 146
6．4 Couchbase数据库 147
6．4．1 Couchbase简介 147
6．4．2 Couchbase数据存储机制 147
6．4．3 Couchbase内存配额设置 148
6．4．4 Couchbase缓存层功能 150
6．4．5 Couchbase硬盘存储机制 151
6．4．6 Couchbase负载均衡（Rebalancing）机制 151
6．4．7 Couchbase的特点 152
6．5 LevelDB数据库 152
6．5．1 LevelDB简介 152
6．5．2 LevelDB的优势 153
6．5．3 LevelDB的缺点 153
6．5．4 基于Python 的操作示例 153
6．5．5 LevelDB工作机制 154
6．5．6 LevelDB的SSTable文件工作机理 156
6．5．7 LevelDB的Compaction工作机制 157
6．5．8 LevelDB的Cache机制 160
6．5．9 LevelDB的版本控制机制 161
第7章 物联网大数据的计算批处理 162
7．1 Apache Hadoop分布式计算 163
7．1．1 Hadoop简介 163
7．1．2 HDFS的工作原理 164
7．1．3 HDFS分布式文件系统的优势 164
7．1．4 MapReduce在物联网大数据中的应用 165
7．2 Apache Spark分布式计算 166
7．2．1 Spark简介 166
7．2．2 Spark的特点 167
7．2．3 Spark与Hadoop的MapReduce对比分析 167
7．3 Apache Flink分布式计算 168
7．3．1 Flink简介 168
7．3．2 Flink统一的批处理与流处理系统 169
7．3．3 Flink流处理的容错机制 170
7．3．4 Flink流处理的时间窗口 173
7．3．5 基于时间戳的排序 173
7．3．6 定制的内存管理 174
7．3．7 JVM存在的问题 174
7．3．8 Flink的处理策略 175
第8章 物联网大数据的交互式查询 180
8．1 Apache Hive交互式查询技术 180
8．1．1 Hive简介 180
8．1．2 Hive的特点 181
8．1．3 Hive的体系结构 182
8．1．4 服务端和客户端组件 183
8．1．5 Hive连接到数据库的模式 184
8．1．6 Hive的存储模式 184
8．1．7 Hive的数据模型介绍 184
8．1．8 Hive和数据库的异同 186
8．1．9 Hive的工作原理 188
8．2 Apache Spark SQL交互式查询技术 189
8．2．1 Spark SQL简介 189
8．2．2 Spark SQL的特点 190
8．2．3 Spark SQL的简单实例 190
8．2．4 通过SQL进行查询 191
8．3 Apache Kudu交互式查询技术 191
8．3．1 Kudu简介 191
8．3．2 Kudu的主要优点 192
8．3．3 Kudu常见的应用场景 192
8．3．4 Kudu的工作特点 192
8．3．5 Kudu与Impala的简单实践 194
8．4 Greenplum MPP交互式查询技术 195
8．4．1 Greenplum MPP简介 195
8．4．2 Greenplum的特点 195
8．4．3 Greenplum的应用场景 196
8．4．4 Greenplum MPP与Hadoop的异同点 197
8．4．5 Greenplum MPP与Hadoop的效率对比 197
8．4．6 Greenplum MPP与Hadoop的功能对比 198
8．4．7 Greenplum MPP与Hadoop的灵活性对比 199
8．4．8 如何选择Hadoop和Greenplum MPP 200
第9章 物联网大数据的流式计算 202
9．1 Apache Storm流数据处理技术 203
9．1．1 Storm简介 203
9．1．2 Storm的特点 203
9．1．3 Storm的集群架构 204
9．1．4 Storm的核心概念 205
9．2 Apache Samza流数据处理技术 206
9．2．1 Samza简介 206
9．2．2 Samza的工作机制 206
9．2．3 Samza的特点 208
9．3 Spark Streaming流数据技术 208
9．3．1 Spark Streaming简介 208
9．3．2 Spark Streaming与Storm的对比 208
9．3．3 Spark Streaming的运行原理 209
9．3．4 Spark Streaming的简单操作 211
9．4 三大流式计算框架的对比和应用 212
9．4．1 三大流式计算框架的对比 212
9．4．2 三大流式计算框架的应用场景 213
第 10章 物联网系统的数据交换和共享 215
10．1 数据交换和共享的组织形式 216
10．2 数据交换和共享的应用需求场景 217
10．3 数据交换和共享的实现模式 220
10．3．1 概述 220
10．3．2 直连模式 221
10．3．3 中介模式 221
10．3．4 搜索模式 225
10．4 数据交换和共享架构 227
10．4．1 数据交换和共享在物联网参考体系结构中的定位 227
10．4．2 《物联网 信息交换和共享》系列国家标准中的
数据交换和共享架构 230
10．4．3 通用的物联网系统数据交换和共享架构 231
10．5 数据交换和共享过程 241
10．5．1 概述 241
10．5．2 发送实时共享数据 241
10．5．3 接收实时共享数据 242
10．5．4 发送数据库共享数据 242
10．5．5 接收数据库共享数据 242
10．5．6 生成共享数据目录 243
10．5．7 发送共享数据目录 243
10．5．8 搜索共享数据目录 243
10．5．9 从共享数据目录进入数据共享界面 243
第 11章 物联网系统的性能评价 244
11．1 系统的性能评价原则 244
11．2 系统架构类指标 246
11．2．1 系统管理 246
11．2．2 系统兼容与互操作 247
11．2．3 组件 248
11．3 系统安全类指标 248
11．3．1 信息安全和物理安全 249
11．3．2 可靠性和弹性 250
11．4 系统功能类指标 251
11．4．1 通用功能 252
11．4．2 感知控制功能 252
11．4．3 服务支撑功能 253
11．4．4 资源交换功能 253
11．4．5 运维管控功能 254
11．4．6 用户接口功能 254

第 12章 大数据环境下的物联网系统的智能化演进 255
12．1 人工智能的发展历程 255
12．1．1 人工智能的概念内涵 255
12．1．2 人工智能的技术发展历程 257
12．1．3 人工智能的特征与技术框架 260
12．1．4 人工智能涉及的关键技术 262
12．2 人工智能技术与物联网的融合 263
12．2．1 大数据——人工智能的基石 263
12．2．2 人工智能——物联网系统的大脑 264
12．2．3 人工智能技术与物联网的融合应用 266
12．3 智能物联网的发展前景展望 267
12．3．1 协同智能化的物联网系统 267
12．3．2 服务智能化的物联网系统 268
第 13章 智能物联网的应用 271
13．1 自动驾驶汽车 272
13．1．1 自动驾驶汽车的技术现状 272
13．1．2 自动驾驶汽车的发展趋势 276
13．2 智能交通物联网 277
13．2．1 从车联网到智能交通物联网 277
13．2．2 智能交通物联网的应用前景 279
13．3 智能交通物联网与自动驾驶汽车的协同 281
13．3．1 车网知识协同的优势 281
13．3．2 车网知识协同体系架构 282
13．3．3 基于智能交通物联网环境的自动驾驶汽车发展展望 285