洞见数据价值：大数据挖掘要案纪实

毕马威亚太区及中国主席陶匡淳先生倾情作序推荐，毕马威中国大数据团队倾力打造，全面阐述大数据在各行各业的价值

《洞见数据价值：大数据挖掘要案纪实》是国际知名咨询公司毕马威的大数据团队的集大成之作，内容丰富，观点新颖，贴近大众生活、工作与学习实际场景，内容不拘泥于技术阐释，通过寓教于乐的方式，以丰富翔实的案例来解析大数据挖掘，尽量通过常见的场景来阐述数据的价值与意义。
第1章介绍大数据在银行业、征信业、审计、传统制造业、互联网行业、舆情监控、影视业、环保产业以及体育产业等多个领域的应用方案和前景。第2章重点介绍大数据分析在商业工作和营销推广中的作用。第3章介绍大数据挖掘过程中涉及的数据的前期准备工作，重点介绍数据准备工作的要点和诀窍。第4章结合业务、生活、娱乐，寓教于乐，介绍大数据的实际应用方式。附录部分介绍一位数据工作者的成长之路，向感兴趣的读者介绍从事数据工作应该具备的素质和掌握的技能。
《洞见数据价值：大数据挖掘要案纪实》可作为企业管理人员、营销主管、分析人员、IT 人员等理解大数据、应用大数据为企业创造价值的指引，同时，《洞见数据价值：大数据挖掘要案纪实》也可供统计学、应用数学及计算机专业学者和研究人员参考学习。

毕马威中国大数据团队，一个专注于大数据及数据挖掘的专业团队，坚持有效结合分析、技术与业务三方面，多次帮助多家大型银行、保险公司、老牌企业等重要客户利用大数据创造价值。团队中既有资深的数据科学家、统计学博士，也有深入了解业务的分析专家，在业界有一定影响力。团队持续分享结合实际业务的精品大数据内容，帮助众多读者实践大数据挖掘。

目录

第1章 大数据在各行各业 // 001
1.1 什么是大数据？ // 002
1.1.1 非常流行的大数据概念 // 002
1.1.2 不那么流行的大数据概念 // 006
1.1.3 也许会带给你灵感的大数据概念 // 007
1.2 大数据在银行业 // 029
1.2.1 业界展望：大数据，银行业未来的核心动力 // 029
1.2.2 创新方向：大数据助力银行网点实现转型 // 036
1.3 大数据在征信业 // 041
1.3.1 业界展望：FICO 评分与芝麻信用，传统征信向大数据征信的转变 // 042
1.3.2 创新方向一：从拒绝推断看个人征信业的大有可为 // 046
1.3.3 创新方向二：论大中型客户数字化授信的可行性 // 054
1.4 大数据在审计业 // 057
1.4.1 业界展望：大数据分析如何支撑审计工作 // 057
1.4.2 创新方向：大数据能否代替传统审计？ // 061
1.5 大数据在传统制造业 // 065
业界展望：数字化企业进阶指南 // 066
1.6 大数据在互联网行业 // 069
创新方向：从滴滴收购优步看垄断企业的马太效应 // 069
1.7 大数据在舆情行业 // 076
创新方向：数据分析帮你掌握话语权 // 077
1.8 大数据在汽车行业 // 086
业界展望：征服汽车后市场，大数据与你同行 // 086
1.9 大数据在影视业 // 089
创新方向：星期几上映的电影最具有票房号召力 // 090
1.10 大数据在环保产业 // 098
创新方向：北京治霾，能为你做点什么 // 098
1.11 大数据在体育产业 // 104
创新方向：欧洲杯，跟着西班牙队学数据挖掘！ // 105
小结 // 109

第2章 大数据在商业领域的应用 // 111
2.1 推荐算法在传统销售渠道中的应用模式 // 112
2.2 巧用运筹优化，提升整合营销管理水平 // 116
2.3 关联规则的应用 // 121
2.3.1 小谈关联规则 // 121
2.3.2 购物篮分析：绝不只是“啤酒与尿布” // 124
2.3.3 创新方向：靠关联规则重获新生的东北小馆 // 128
2.4 智能荐食模型：大数据告诉你今天吃什么 // 133
智能荐食模型 // 134
2.5 顾客时空模型：其实天下没有免费的 WiFi // 138
2.5.1 无处不在的免费 WiFi // 138
2.5.2 顾客时空模型 // 139
2.5.3 进一步挖掘 // 141
2.6 社会网络分析法，助力信贷反欺诈 // 142
2.7 数据可视化利器：SAS Visual Analytics // 145
2.7.1 为什么需要数据可视化？ // 145
2.7.2 数据可视化的几个常见例子 // 146
2.8 文本挖掘，帮你识别网购评论是真是假 // 151
2.9 路径优化：如何改良快递送货路线？ // 156

第3章 数据前期准备 // 171
3.1 从抗日武装的发展谈到数据治理 // 172
3.1.1 数据质量问题 // 173
3.1.2 数据应用问题 // 174
3.1.3 实施策略和路径问题 // 176
3.2 如何生成你需要的基础数据？ // 182
3.3 如何利用数据仓库优化数据分析？ // 189
3.4 二分类变量的数据缺失插补 // 193
3.5 数据离散化，如何避免丢失信息？ // 201
3.6 如何避免数据离散化影响自变量的重要性？ // 204
3.7 二分类模型中如何应对分类自变量取值过多？ // 206

第4章 技术案例 // 211
4.1 建模变量太多怎么办？ // 212
4.2 信用评级模型怎么评估？ // 215
4.3 观察窗口怎么选？ // 219
4.4 K折交叉验证怎么做？ // 223
4.5 如何衡量变量之间的相关性？ // 230
4.6 决策树算法真的越复杂越好吗？ // 235
4.7 如何精选分类模型指标？ // 245
4.8 当数据分析遇上超级奶爸 // 250
4.9 深度挖掘，你的工资拖后腿了吗？ // 253
4.10 用分位数回归看你的工资水平 // 258

附录A 一位数据工作者的成长之路 // 265
A.1 数据分析师入门攻略 // 266
A.2 如何做一名“称职”的数据专家？ // 269
A.3 一个数据仓库转型者眼中的数据挖掘 // 271
A.4 预测科学：三点经验谈实际应用 // 276
A.5 数据模型多了，应该怎么管？ // 277
A.6 手握数据挖掘模型，你一定要知道怎么用 // 281
A.7 浅谈以史为鉴与数据分析 // 286

后记 // 297

序言
越是基本的理念，往往越能成为时代的标志、价值的度量，数据正是如此。
2020年，全球数据总量预计将超过44千万亿兆字节，数据之大，正如我们日常呼吸的空气一般不可缺少。这意味着世界上的一切都在产生数据，一切都在使用数据；万事万物都可以数据化，而数据也成为价值的新载体。大数据时代——也就是说，这样一个以数据衡量价值的时代，我们已经置身其中。
今日，“大数据”已不仅仅是一个新兴概念。国家、机构、企业都拥有数据，也急需使用数据，而物联网等理念的兴起，云计算等技术的应用，让我们能够帮助他们探索、挖掘、利用数据中的价值，能够存储、流通、关联、交换、使用大数据，开发每一个环节中的能量。大数据是资源，是一座亟待开掘的金矿。
毫无疑问，大数据拥有巨大的商业潜力和创造力，而这样的潜力和创造力，当然也属于毕马威中国大数据团队。
本书正是毕马威中国大数据团队的心血之作，汇聚了其微信公众号中的精品文章。该大数据团队建立几年以来，我一直非常欣赏团队的业务能力和业绩表现，同样，文如其人，他们在这本书中展现出的实力、动力和潜力也令人赞叹。
学术成果一向是新兴行业的驱动力，而业务能力是学术与实际工作的衔接点：大数据团队是一个集合了这两方面高端人才的团队，本书中的作品，专注学术、扎根业务，也体现了不俗的行业发展眼光。何况，写这样的文章，一篇或许容易，但能在繁忙的日常工作之余坚持一年之久则殊为不易；如果不是对数据领域有深切的热爱，又怎么会有这样的动力呢？这本著作见证了团队的成长，更是团队潜力的明证。我相信，本书的读者们也一定会有同样的感觉。
大数据时代，谁掌握了数据，谁就掌握了价值，也掌握了世界的节奏。面对数据之潮，毕马威中国一直力求一马当先，而大数据团队正是公司内的行业先驱。“大鹏一日同风起，抟摇直上九万里”，我不由得心生期待，想要看看这样一个出色的团队还能给我和读者们带来怎样的惊喜。

陶匡淳
毕马威亚太区及中国主席