数据仓库原理与实践

本书比较全面系统地介绍了数据仓库（Data Warehouse）、联机分析处理（OLAP）、数据挖掘（Data Mining）等3个层次的基本概念、原理和应用技术。全书分成4篇，基本原理篇和设计建模篇的内容主要包括：数据仓库的基本概念、体系结构、创建过程、建模设计、项目规划，OLAP的基本概念、ROLAP和MOLAP的实现原理、OLAP模型设计，数据挖掘的基本概念、基本过程、常见模型和算法。产品介绍篇介绍了现有数据仓库厂商产品工具的基本情况，并对产品选择进行了一些分析。应用实践篇结合电信领域的实例，介绍了数据仓库项目在设计和实施中的关键问题。 本书的编写以理论联系实际为原则，内容系统全面，对于从事数据仓库研究、设计、开发等工作的人员具有宝贵的参考价值，对于需要了解数据仓库技术的系统集成人员、系统分析师、系统设计师也具有一定的参考价值。

篇 基本原理篇 第1章数据仓库概述2 1．1 数据库到数据仓库的演变2 1．1．1 蜘蛛网问题2 1．1．2 操作型系统和分析型系统的分离5 1．2 商业智能系统的功能和构成7 1．2．1 商业智能系统的数据处理循环7 1．2．2 决策支持系统的总体功能7 1．3 仓库的应用前景9 第2章数据仓库的基本原理12 2．1 数据仓库的体系结构12 2．1．1 数据仓库的体系结构12 2．1．2 数据仓库中的关键名词13 2．2数据仓库的特点16 2．2．1 数据库的功能和特征16 2．2．2 数据仓库的功能和特征17 2．2．3 面向主题17 2．2．4 数据的集成性19 2．2．5 数据的稳定性21 2．2．6 数据随时间变化的特点22 2．3数据仓库的数据组织23 2．3．1 数据仓库的数据组织结构23 2．3．2 数据颗粒度25 2．3．3 数据的分割29 2．3．4 数据仓库的数据组织形式30 2．3．5 数据仓库的数据追加技术32 2．3．6 清理数据仓库的数据36 2．4 数据仓库建设的两条技术路线36 2．5操作数据存储ODS38 2．5．1ODS的概念38 2．5．2 ODS的应用39 2．5．3DB－ODS－DW的3层体系结构41 2．5．4 ODS/DW、ODS/DB间的比较43 2．6 外部数据和非结构数据44 2．6．1 外部数据的特征44 2．6．2 为什么将外部数据放在数据仓库45 2．6．3 对外部数据进行管理的元数据46 2．6．4 外部数据/非结构化数据的存储47 2．6．5 外部数据的使用49 第3章OLAP的基本原理50 3．1 OLAP的基本概念50 3．1．1 OLAP的基本概念50 3．1．2 OLAP的基本分析动作53 3．1．3 OLAP的展现方式57 3．1．4 OLAP和OLTP59 3．1．5 OLAP的体系结构和分类60 3．2 以多维数据库为基础的OLAP服务器61 3．2．1 多维数据库（Multi-Dimensional Database）61 3．2．2 MDDB产品实例64 3．2．3 MOLAP产品的结构66 3．3 基于关系型数据库的OLAP（ROLAP）66 3．3．1 维表67 3．3．2 事实表67 3．3．3 星型结构69 3．3．4ROLAP和MOLAP的比较73 3．3．5HOLAP（Hybrid OLAP）76 3．4OLAP的特征和衡量76 3．4．1 OLAP的12准则76 3．4．2 OLAP的简洁准则79 3．5 OLAP的前端展现方式80 3．5．1 OLAP的C/S方式80 3．5．2 OLAP的Web80 3．5．3 瘦客户机方式81 3．5．4 OLAP的局限性82 第4章数据挖掘基础83 4．1 数据挖掘的概念83 4．1．1 什么是数据挖掘83 4．1．2 数据挖掘的形式化定义84 4．1．3 数据挖掘的基本步骤85 4．1．4 数据挖掘方法的分类85 4．2 描述性挖掘分析87 4．2．1 关联规则87 4．2．2 序列模型分析92 4．2．3 聚类分析（Clustering）93 4．3 预测类的挖掘算法98 4．3．1 分类问题99 4．3．2 回归问题102 4．3．3 时间序列问题102 4．3．4神经网络105 4．3．5 决策树分析110 4．4 数据挖掘的体系结构112 4．5 数据挖掘系统的应用实例113 4．5．1 从用户的行为模式来自动地生成动态链接113 4．5．2 用数据挖掘的方法来解决网络拥挤的问题119 4．6 数据挖掘和相关系统的联系120 4．6．1 数据挖掘和人工智能、统计学的关系120 4．6．2 数据挖掘和数据仓库的关系121 4．6．3 数据挖掘和OLAP的区别和联系122 4．6．4 数据挖掘不是万能的124 第二篇 设计建模篇 第5章 企业模型设计126 5．1 数据仓库设计和数据库设计的区别126 5．2 企业模型129 5．2．1 什么是企业模型129 5．2．2 面向对象的分析方法133 5．2．3 使用面向对象的方法建立企业模型139 5．2．4 面向对象方法和ER模型的对比144 5．3 企业模型到数据库模型的映射145 5．3．1 限定集成的范围145 5．3．2 映射到关系模型146 5．3．3 对比映射结果和现有系统148 5．4 将企业模型映射到数据仓库概念模型149 第6章 数据仓库的模型设计152 6．1 数据仓库的逻辑模型设计152 6．1．1 系统数据量估算152 6．1．2 数据颗粒度的选择153 6．1．3 表的分割157 6．1．4 增加时间字段157 6．1．5 去除纯操作型数据157 6．1．6 合理的表划分158 6．1．7 定义关系模式161 6．1．8 增加导出字段161 6．1．9 记录系统的定义162 6．2 数据仓库的物理模型设计163 6．2．1 确定数据的存储结构163 6．2．2 索引策略166 6．2．3 数据存储策略173 6．2．4 存储分配优化176 6．3 数据装载接口设计176 6．4 并行优化177 6．4．1 数据仓库中并行优化的必要性和可能性177 6．4．2 并行体系结构179 第7章 OLAP建模方法183 7．1 维表183 7．1．1 维表的特征183 7．1．2 维的变化184 7．1．3 维表的共享187 7．1．4 雪花型结构处理多对多关系189 7．1．5 层次信息和分类信息的位置191 7．1．6 非分析数据的分离194 7．1．7 典型的维层次195 7．2 事实表198 7．2．1 事实198 7．2．2 事实表的特征199 7．2．3 数据的粒度199 7．2．4 聚合操作和聚合表200 7．2．5 没有度量变量的事实表201 7．2．6 通用数据和专用数据事实表202 7．3 OLAP的并行优化204 7．3．1 B-TREE索引、位图索引和Bit-Wise索引204 7．3．2 星型查询优化204 7．3．3 预连接技术207 7．4 多维数据库207 第8章数据仓库规划和开发方法210 8．1 数据仓库的投资分析210 8．1．1 数据仓库的应用目标210 8．1．2 建设数据仓库的必要性211 8．1．3 数据仓库的投资回报分析211 8．1．4 技术选择分析212 8．1．5 IDC的统计结果213 8．2 数据仓库的开发方法213 8．2．1 瀑布式开发213 8．2．2 螺旋式开发214 8．3 数据仓库主题的选择和阶段规划216 8．3．1 阶段规划的原则216 8．3．2 维护阶段216 8．4 现有数据库系统的改造问题216 8．5 数据仓库和数据库系统的相互作用217 8．5．1 相互促进的过程217 8．5．2 解决“蜘蛛网”问题218 8．5．3 数据仓库的“间接使用”218 8．6 分布式数据仓库219 8．6．1 采用分布式数据仓库的原因219 8．6．2 分布式下的模型建立和数据划分221 8．6．3 分布式数据仓库的建设策略224 8．6．4 分布式数据仓库技术的缺点227 8．7 需要避免的错误228 第9章 数据挖掘的实施过程231 9．1 数据挖掘过程模型5A231 9．2 数据挖掘过程模型CRISP-DM233 9．3 数据挖掘过程中的相关问题235 9．3．1 定义商业问题235 9．3．2 建立数据挖掘库236 9．3．3 分析数据 /选择变量241 9．3．4 模型训练方法245 9．3．5 数据挖掘模型的评价方法248 9．3．6 数据仓库的实施和维护250 9．3．7 模型实例250 第10章 数据仓库的建立和维护252 10．1 数据仓库建立的过程252 10．1．1 建立企业模型252 10．1．2 阶段规划/主题选取253 10．1．3 技术准备工作253 10．1．4 逻辑设计254 10．1．5 物理设计255 10．1．6 数据载入接口设计255 10．1．7 装载一个主题的数据和数据校验256 10．1．8 OLAP模型设计和应用开发256 10．1．9 数据准备程序设计257 10．1．10 数据挖掘模型设计257 10．1．11 界面系统设计258 10．1．12 装载其他主题数据258 10．1．13 同客户交流259 10．1．14 重新开始循环260 10．2 数据仓库的维护工作260 10．2．1 数据周期260 10．2．2 参照完整性261 10．2．3 数据环境信息262 第三篇 产品介绍篇 第11章 数据仓库产品的介绍266 11．1 数据仓库工具266 11．2 INFORMIX数据仓库产品简介268 11．2．1 INFORMIX数据仓库解决方案268 11．2．2 数据抽取、转换和装载269 11．2．3 数据存储270 11．2．4 数据访问/呈现274 11．3 SAS产品简介278 第12章 数据仓库产品的选择283 12．1 数据仓库产品应具备的关键技术283 12．2 各数据仓库厂商产品的比较285 12．3 数据仓库工具的选择286 12．4 数据仓库工具的互通问题287 第四篇 应用实践篇 第13章 项目的需求和目标分析292 13．1 电信领域建立数据仓库的常见主题292 13．2 电信领域常见的分析问题295 13．2．1 客户群体划分295 13．2．2 客户流失分析296 13．2．3 客户欺诈分析296 13．2．4 网络规划优化297 13．2．5 网管中的分析问题298 13．3 项目规划301 13．4 需求分析的形成301 13．4．1 任务说明书301 13．4．2 需求说明书302 第14章 系统结构和模型设计307 14．1 系统结构设计307 14．1．1 数据量的估算307 14．1．2 系统硬件结构/软件结构选择307 14．2 数据仓库模型的设计310 14．2．1 可利用的数据310 14．2．2 粒度的确定311 14．3 OLAP模型设计314 14．3．1 项目涉及的维度分析315 14．3．2 各个主题的维度设计317 第15章系统装载、数据挖掘和界面设计324 15．1 数据装载/数据综合模块设计324 15．2 OLAP模型生成程序329 15．3 数据挖掘宽表设计和生成335 15．3．1 确定同目标变量相关的数据335 15．3．2 创建新变量336 15．3．3 准备训练集合与验证集合342 15．3．4 确定分析的次序343 15．3．5 变量选择343 15．3．6 模型的维护和完善344 15．4 创建多维数据库模块设计345 第16章 界面设计和项目总结348 16．1 界面展现设计348 16．1．1 三层体系结构348 16．1．2 按照内容对界面进行规划349 16．2 系统的工作流程总结351 16．3 系统的数据流程总结353 16．4 系统的模块组成355 附录 常用名词表356