数据实践之美：位大数据专家的方法、技术与思想

（1）近20位CEO和专家联袂推荐，IBM和PTMind各团购1000册大力支持！

（2）大数据技术领域里程碑著作，由国内知名的数据技术社区天善智能领衔组织和策划，集结了百度、腾讯、IBM、埃森哲、Teradata、永洪科技、达观数据、神策数据、同程旅游等20余家国内外在数据和互联网领域的领头羊企业的31位数据专家（CEO、CTO、VP、技术总监、架构师、高级分析经理、咨询总监等）的实践方法、技术与思想。

本书是数据技术领域具有里程碑意义的代表性著作，由国内知名的数据技术社区天善智能领衔组织和策划，首次将来自百度、腾讯、IBM、埃森哲、Teradata、永洪科技、达观数据、神策数据、同程旅游等20余家国内外在数据和互联网领域的领头羊企业的31位数据专家（CEO、CTO、VP、技术总监、架构师、高级分析经理、咨询总监等）联合在了一起，首次分享了各自多年来在数据领域积累下来的引以为豪的方法、技术与思想，同时对很多技术难题给出了经验性的解决方案，颇为珍贵！

全书一共分为5个部分：

Part1：数据化思维

旨在帮助读者在企业的数据化运营和管理过程中如何建立和优化运用数据的思维，涵盖数据化运营、数据化营销、数据化管理、数据领导力等多个主题。

Part2：数据治理

这部分内容有针对性地从技术的角度讲解了数据治理的一些重要技术，包括数据库开发与设计、ETL数据处理、复杂数据处理3大主题。

Part3：BI与数据可视化

这部分主要从“术”的角度对BI于数据可视化进行了讲解，涵盖商务智能业务构建、数据体系构建、BI项目的实施与应用、大数据系统的架构与技术选型、数据可视化的技术与工作方法等10个主题，内容丰富。

Part4：数据分析与数据挖掘

数据分析与数据挖掘是大数据与人工智能时代核心的技术之一，也是本书的重中之重，包含数据驱动的运营和管理、精细化分析、数据产品化、零售数据分析、电商数据分析、行业数据和个性化数据的挖掘关键技术和标准流程等12个十分精彩的主题。

Part5：大数据化之路

这部分内容主要讲解了如何真正将大数据技术、大数据方案和架构真正落实到具体的行业应用中，选取了教育、互联网金融、商业地理应用3个领域的3个案例，对整个的实施过程和涉及的关键技术和业务考量都做了详细的阐述，希望能给读者启发。

社区简介

天善智能（www.hellobi.com）

一个专注于商业智能（BI）、数据分析、数据挖掘和大数据技术的技术社区 ，包括技术问答、博客、活动、学院、招聘、读书频道等众多版块。社区内容不仅覆盖了几乎所有与 BI 相关的技术和产品：微软BI、IBM Cognos、Oracle BIEE、Kettle、Informatica、DataStage、SAP BO、QlikView、Tableau等；而且还包含所有与数据分析、数据挖掘和大数据相关的技术和产品，如R、Python、SPSS、Hadoop、Spark、Hive、Kylin等。

天善智能致力于构建一个基于数据的生态圈，通过社区链接一切与数据相关的资源。上游，天善智能得到了IBM、Oracle、微软、永洪科技、帆软等数十家国内外数据厂商的大力支持；中游，天善智能在社区拥有一批非常知名的社区领袖和技术大拿；下游，天善智能的学员和注册会员覆盖北京、上海、深圳、广州等50多个国内的大中小城市，以及加拿大、美国、新西兰、澳大利亚、日本、德国、新加坡等海外国家。在数据领域里天善智能有着广泛的影响力。

作者简介：

王 桐 永洪科技高级副总裁，拥有近10年商业智能领域的产品销售、咨询服务经验，此前效力于Oracle和IBM。

桑文锋 神策数据创始人 & CEO，前百度大数据部技术经理 。

彭 耀 专注数据分析20年，象形信息科技联合创始人及CTO，中科大-象形大数据联合实验室副主任。

何启平 就职于IBM，擅长数据分析与模型设计，以及数据仓库、数据集市、MIS等OLAP系统的架构与设计，在ETL及BI方面均积累了大量的项目设计、开发与技术实战经验。

温融冰 埃森哲管理咨询经理，专注于财务绩效、数据分析及可视化领域，曾服务能源、金融、制造业等行业客户。

陈运文 达观数据CEO，复旦大学计算机博士；国际计算机学会（ACM）和中国计算机学会（CCF）会员，在大数据架构、数据挖掘、文本信息处理、推荐和搜索技术等方面有丰富的研发经验，并申请有30项国家发明专利。

杨宝军 10余年银行项目工作经验，曾就职于Teradata等公司，擅长数据分析、模型设计、数据仓库、数据集市以及元数据管理等。

张浩彬 数据分析/数据挖掘专家，目前在IBM（中国）认知计算部门工作，曾担任SPSS技术工程师，现在担任预测性客户智能方案的咨询顾问。

袁华杰 帆软数据研究院院长、帆软公司CMO。

吴奕君 任职于腾讯，从事互联网广告商业分析；致力于利用战略眼光聚集商业模式及企业运营。

邹 斌 奥威软件首席咨询顾问。20年IT从业经历，16年企业信息化咨询顾问经验，曾就职于金蝶、神州数码等。

张云松 融360风控总监，多年零售金融行业咨询和互联网公司从业经历，专注数据算法、决策分析、风险管理和金融产品设计的工作。

刘 凯 曾就职于奥美、戴尔等公司，为金融街集团、海尔金融科技等公司提供过数据咨询服务，擅长数据建模、可视化分析。

谢佳标 乐逗游戏高级数据分析师，9年以上数据挖掘经验，资深R语言专家，《R语言游戏数据分析》作者。

张 丹 前况客创始人兼CTO，10 年的IT编程背景，R语言专家，《R的极客理想》系列图书作者。

吕 品 天善智能联合创始人& 运营总监，10年 IT 行业工作经验，6年商业智能 BI 工作经验。

沈 嵘 美特斯邦威BI和大数据经理，16年以上BI领域工作经验。

张子良 资深大数据专家，10余年数据架构、数据仓库、BI分析经验。

叶秋萍 资深数据分析专家，多年数据分析经验，致力于BI和可视化分析实践。

王卫东 资深数据分析师、软件工程师，有丰富的数据分析与商业智能项目实战经验。

吕敏杰 资深BI专家，专注于BI项目实施多年，在商务智能的整体架构设计、业务模型设计、管理驾驶舱以及BI的移动应用设计等方面拥有丰富的实战经验。

贾 岩 资深BI专家，多年大型国企BI项目实施与管理经验。

郭 川 11年ERP和BI项目交付与管理经验。

韩庆安 近10年数据库工作经验，资深数据仓库架构师，Oracle 11g OCP，擅长Oracle数据库的管理、运维和开发。

吴永帆 专注商业智能及大数据周边应用研发、钻研，具有多项目、多行业的Cognos BI独立实施经验。

孔 淼 诸葛IO创始人之一，曾任37degree CTO，90后连续创业者。

吴文波 就职于同程旅游，一直带领团队从事数据方面的开发工作。

尚林栋 从事电商6年，曾在韩都衣舍等大公司，现为北京某家女装线下羽绒服品牌担任运营推广兼数据分析。

汪 尚 莱信学院负责人，大数据挖掘软件SmartMining产品经理，资深的数据挖掘顾问及培训讲师。

李宗海 资深大数据专家，专注于教育行业大数据多年。从管理KPI，到改进教育产品运营的用户行为分析，再到基于学员学习数据的大数据分析，均有亲身经历与整体规划。

张志成 10余年的商业网点选址分析与开店工作经验。服务过百胜餐饮、沃尔玛中国等公司，曾作为外部顾问参与IBM农行网点优化。

　　本书为我们打开了一幅DT时代的美丽画卷，有睿智的数据思想和丰富的实践心得，每一位致力于数据事业的人，都应该读一读。

　　——刘让　象形科技ETHINK CEO

　　大数据时代，“如何有效管理和利用数据，使之成为资源”是必须认真对待的问题。本书以专家的眼光，从实践出发，做出了精彩的阐释，值得拥有！

　　——赵志祥　奥威软件 CEO

　　本书汇集了国内一线数据实践工作者的智慧与经验，从思维、治理、可视化、分析与挖掘和应用五个方面展开。在数据实践的道路上，没有比这本书更好的指南，我由衷推荐这本书。

　　——陈炎　帆软软件 联合创始人

　　数据治理已成为大数据时代企业管理的新目标，要提高数据治理能力,不仅需要提高企业内部的咨询能力，而且需要对数据治理软件进行多角度的审视。本书囊括了多家先进企业通过使用大数据提高自身商务能力的实践分享,这对大数据行业的从业者会有很大的帮助。

　　——李荣祥　DataStreams CEO/韩国大数据协会副会长

　　数据已经成为企业*重要的生产资料，如何从数据中发掘价值是每家企业关注的重点。要做好数据价值发掘的工作，除了平台和工具之外，还需要*佳实践。本书既有理论又有实践，且兼顾了深度和广度，值得数据领域从业者参考借鉴。

　　——何春涛　永洪科技 CEO

　　本书聚合了一批非常优秀的奋战在数据领域一线的专家，包括工程师、分析师、架构师、创业者，给了我们与这些专家思维碰撞和近距离交流的机会。三人行，必有我师，从不同的角度看问题，从不同的角度看数据，批判、辩证和思考，这些都是我们数据人要具备的基本功。不管是大数据还是小数据，只有真正用好才是好数据。从他们的方法、技术和思想总结中，我们要寻找的就是用好数据之路。

　　——郑远　铂金智慧（Ptmind） CEO

赞誉

前言

Part 1　数据化思维 // 1

NO.1　数据化运营的方法论体系　张子良 // 2

NO.2　数据化营销中的“一·二·三”　叶秋萍 // 9

NO.3　企业数据化管理之巅—同业对标　王卫东 // 21

NO.4　管理数据化：柳传志30年管理智慧如何为我所用　袁华杰 // 33

NO.5　数据领导力—指标体系规划与管理驾驶舱设计　刘凯 // 41

Part 2　数据治理 // 53

NO.6　数据库开发实施工艺提升的6种途径　杨宝军 // 54

NO.7　ETL串并发数据跑批处理的理论与运用实践　何启平 // 64

NO.8　如何高效地对复杂数据进行清洗与转换　谢佳标// 74

Part 3　BI与数据可视化 // 91

NO.9　商务智能业务分析构建“5步曲”　吕敏杰 // 92

NO.10　构建数据体系的两个“5步曲”　王桐 // 109

NO.11　成功实施BI项目的4大要素　贾岩 // 119

NO.12　Kimball理论在BI项目中的应用　郭川 // 127

NO.13　BI数据可视化分析SaaS产品前瞻　吕品 // 145

NO.14　大数据工程的系统架构设计和技术选型　韩庆安 // 153

NO.15　数据可视化4步工作法　温融冰 // 164

NO.16　如何用R语言对复杂数据进行可视化　谢佳标// 169

NO.17　新思路，新体系：让银行报表的3大痛点不再是噩梦　袁华杰 // 184

NO.18　Cognos在金融银行业的最佳运用　吴永帆 // 196

Part 4　数据分析与数据挖掘 // 207

NO.19　如何做好一名商业分析师？　吴奕君 // 209

NO.20　如何用数据驱动运营　桑文锋 // 217

NO.21　企业增长中的精细化分析和Growth Hacking　孔淼 // 237

NO.22　如何基于业务实现用户行为数据产品化　吴文波 // 247

NO.23　电商的数据化管理与运营　尚林栋 // 256

NO.24　零售业数据分析指标的管理与应用　沈嵘// 284

NO.25　做好零售业数据分析必须解决的3个难点　邹斌 // 291

NO.26　如何用R语言做量化分析　张丹 // 316

NO.27　从BI到AI，数据分析的4个误区　彭耀 // 335

NO.28　企业如何利用跨行业数据挖掘标准流程开展大数据实践　张浩彬 // 342

NO.29　详解过程挖掘的技术和方法　汪尚 // 352

NO.30　个性化数据挖掘的关键技术与应用实践　陈运文 // 382

Part 5　大数据化之路 // 401

NO.31　教育行业的大数据实施路径　李宗海 // 402

NO.32　数据科学在互联网金融中的应用　张云松 // 409

NO.33　地理大数据驱动的智慧选址　张志成 // 419

附录 // 433

　　赞　誉

　　BIG DATA给IT工程师们提供了新的职业发展机遇，也为各种IT技术提供了同台竞技的舞台，反过来因为这些人才和技术的大量涌入，“大数据文化”得以繁荣和发展！天善智能就是其中的积极贡献者。

　　Smartbi　副总裁　徐晶

　　本书不仅仅是一本案例集，还是几十位业界资深人士智慧的结晶。同一主题中从多个角度进行观点碰撞的编排方式，在市面上的数据类书籍中也是绝无仅有。向希望踏入数据领域的各位读者，强烈推荐本书。

　　阿里巴巴营销数据分析专家　陈丹奕

　　回首自己10年数据从业之路，从菜鸟时期看《Building the Data Warehouse》思考星型模型和雪花型模型优劣势，到现在努力践行通过DT解决公司降本、增效、创收、风控等业务难题，期间不知道看了多少本数据相关的书（非要量化，一整书架）。但从来没看到过一本这么多作者各自发挥各自领域特长合力完成的经验合集。作者都是各自领域经验丰富的从业人员，将自己踩过的坑、趟过的雷分享出来，看完这本书会使人了解到：BI、大数据在不同领域、不同公司的理解、定位和应用都是不一样的，会让你开阔眼界、增长见识。不管是BI、大数据、人工智能/深度学习，都只是一种技术、一种生产力，目的都是为了解决问题创造价值，希望大家都能站在解决问题的角度看待这些技术。无招胜有招的高手都是阅历了百家之长！

　　京东集团大数据业务部架构师　李爱华

　　数据分析师应该是一个博学家，他们要博采众家之长，通过模仿、借鉴并加以创新，最终形成自己的一套分析路径。本书正好满足这种需求，通过34篇文章，几十个案例让读者学到别人家的大数据，非常好！

　　数据化管理咨询顾问及培训师，《数据化管理：洞悉零售及电子商务运营》　作者　黄成明

　　未来，是一个数据服务的时代，未来的数据更多不是以单品的形态出现，而是融入企业和生活中的每一个环节；未来，数据将会作为一种重要的战略资产，渗透在每个行业领域。目前在数据领域，技术瓶颈、人才缺失等问题十分严重，本书在这几方面作了详尽的讲解和很多经典成功案例，值得一读。数据，正慢慢地引领着一个浪潮。

　　铂涛集团数据产品经理　欧锦光

　　这是一本链接抽象数据与现实业务的书，书中介绍的来自不同领域众多精英们对数据分析实践的宝贵经验着实令人叫绝。翻开此书，就如站在前辈们用实践堆积而成的宝藏上，弯下腰随手拾起的就是名叫“真知”的无价之宝。

　　电子表格应用大会主席　李奇

　　每一位作者都是数据行业的先行实践家，每一篇文章都是行业智慧与经验的浓缩，本书为我们带来一场使用数据技术升级各行各业的交流盛会。身处数据时代，无论是对技术、市场、产品、还是管理人员来说，都是必读的“他山之玉”。

　　山东财经大学数学与数量经济学院教师　郭鹏程

　　本书系统地介绍了数据科学在工业界的实践，把数据化思维、数据治理、BI与数据挖掘等从多个视角进行了深刻剖析。作者均为工业界的一线管理者与工程师，有深厚的数据分析和构建数据平台的功底，读者可以从书中了解到数据科学实践的前沿方法与技巧。

　　微软资深数据平台工程师　高彦杰

　　有一句话我们经常在说：If you can't measure it, you can't fix it. 用数据说话，倡导用数据思维意识来推动，用数据去洞悉事物的变化，形成数据文化。本书是几十位作者在各个行业、各个技术领域数据思维的经验总结，值得大家仔细阅读。

　　网站分析在中国创始人，WAW中国创始人　宋星

　　误打误撞进入大数据投资领域3年多，经历了新奇兴奋到迷茫怯手。本书让我拨开繁杂的数据信息迷雾，从数据行业一线践行者的视角窥探行业的脉络和发展态势，更好的把握数据项目投资的精髓和逻辑。

　　华澳资本合伙人　常永兵

　　我在发展百度慧眼业务的过程中有这样的感触 ：大数据的应用领域和应用价值仅仅露出了冰山之一角，然而这区区一角之地，也是一群极具科技嗅觉的数据先锋们努力打拼出来的—寻找数据、验证数据、应用数据、可持续获取和完善数据—历经层层磨难，看到一点光明，从而更加坚信大数据应用的未来。今天，很欣喜的看到本书把这些经历、经验和亮点集结成册，向全社会分享，这是一件很有价值的事情。

　　百度地图开放平台产品总经理　李志堂

　　随着数据科学的兴起，人们调侃说数据科学家已成为最抢手、最性感的职业。这凸显拥有数据分析实践能力的人才可以帮助企业进行数据资产的挖掘与利用。通过数据分析与数据挖掘推动企业的经营管理，帮助企业管理者洞察发展趋势和科学决策，这种数据价值会给企业带来商业模式上的优化，以及商业自动化上的突破，让企业保持核心竞争力。

　　中国传媒大学新闻学院教授，大数据挖掘与社会计算实验室主任　沈浩

　　数据作为一个新物种，带给人类一个全新世界，更给人类重新认识自我、改造社会的机会。数据科学作为探索数据世界奥秘的工具正在逐步被人类像材料科学一样掌握，围绕数据科学的数据思维、数据治理、数据分析与挖掘、可视化等正在迭代人类工业时代的经验思维、品质管控、材料工程、制造工艺、工业设计等知识、技能体系。领先的数据社区天善智能通过众包、众智的方式所编著的本书无疑为每位DTer打开一扇天窗。希望更多朋友加入天善智能社区，为DTer提供形式多样、营养丰富的面包。

　　中关村大数据产业联盟副秘书长 & TalkingData University Headmaster　陈新河

　　这是一本由天善社区众多大咖所共同创作的一本关于数据科学的优秀书籍。我们知道，一本技术书籍的好坏主要取决于书籍的作者质量以及体系规划情况，这本书的书籍作者都是行业内知名的专家，每一篇文章都凝聚了专业人士多年经验智慧的结晶，含金量非常高。同时，这本书采用去体系化的方式编排，围绕一个中心，从不同的视角去阐述数据科学的知识，形散而神一，是一本难得的好书，郑重推荐。

　　重庆韬翔网络科技有限公司（上海）董事长兼总经理、

　　CSDN特邀IT专家、知名IT作家　韦玮

　　我们常说当下是大数据时代；我们也对各种技术字眼耳熟能详，Hadoop，Spark等。但我们总不经意忽略，无论哪种革命，真正的源力是那些为了梦想披荆斩棘的人。本书就是由这样冲杀在数据第一线的数据先锋集体编著而成，而各位读者，你们也和他们一样，是大数据bigbang中的源力，因此你们在读他们的文章时一定会有所共鸣。

　　IBM高级架构师　邵春宇

　　虽然错过了成为本书作者的荣耀，能够提前享受本书，从方法、技术、思想三省吾身，也是大美。近年来，随着移动互联网和人工智能快速发展，收集、存储和分析的数据量呈爆炸式增长、席卷神州之势，大数据时代浩浩风起波。感谢无数专家的努力，让我在大数据之巅的风波中多了一些坐标。

　　科大讯飞大数据专家　于俊

　　未来是大数据的时代。如何获取数据，分析数据和应用数据是关键！本书深入浅出，结合案例将数据实践之道娓娓道来，值得期待！

　　众美联商城总经理　王嘉豪

　　前　言

　　朝阳门和小笼包

　　2016年3月5日，天善智能在北京举办“数据为王·互联网大数据沙龙”活动。在活动开始前的3月2日，我在家里收到了几本有关大数据相关的书籍，当时还没有弄清楚是怎么回事，后来打电话问梁勇（天善智能创始人之一）才知道这几本书是机械工业出版社华章分社的副总编杨福川寄过来的，代表华章支持我们的线下沙龙活动。

　　3月5日之后的某一天晚上，我约了杨总编出来以当面表示感谢。3月份的北京还比较冷，那两天风也比较大，我们俩约在朝阳门附近见面。见面一开口说话便发现都是湖北老乡，一个来自武汉，一个来自孝感，瞬间就感觉话题多了很多。

　　我们俩虽然都在北京，但是各自都有各自混吃的“地盘”，对于朝阳门附近到底哪些地方有什么好吃的一概不知。一路边走边聊，最后逛到地下一家小店。看看也到吃饭的点了，四周也没有什么合适的餐馆就只能这样将就着了。坐下之后，两人要了两份小笼包，一份粥和一份面，就坐在小饭桌上边吃边聊了。没有任何的刻意和客气，就像老朋友一样……

　　饭后聊了很多有关创业的话题，包括天善这个团队是如何结缘，如何辞职全职创业的。也聊到我们对大数据领域的一些认识和看法，圈内的故事，以及我们社区和社群的资源。

　　其间，聊到2015年我们在网上发布的19万字的商业智能BI年刊时，杨总编说：“你们社区在大数据和BI领域有不少专家资源，也积累了不少内容，为什么当时不考虑出书呢？”

　　“我们没有出版社的资源，也不知道出书的流程和方式”。

　　“需要的话，我们以后可以帮你”。

　　策划一本书的想法从那时就开始萌发了，就是在那个3月份略有点凉的夜晚，在朝阳门吃着小笼包结的缘。

　　关于本书

　　最初策划这本书的时候，我想过一个问题：究竟是系统性地深入讲解某个特定的与数据相关的主题（比如大数据、数据分析、商业智能等）；还是去系统化，只讲解一些与数据实践相关的经验和技巧，每篇文章相对独立。

　　最后我们的选择是去系统化，每一篇都是一个独特的视角，即使是同一个视角，我们也希望不同的作者能够写出不同的观点，甚至冲突。因为我们觉得这本书承载的应该更多的是启发，而不是教化。

　　我们期望这本书是一本数据实践的Hacks集合，作者由来自互联网、传统行业、大数据公司等一线的数据工作者、科学家、技术VP、产品经理以及高级咨询顾问组成，如实地反映和总结他们在各自技术领域的真实工作经验和技巧。

　　2016年的4月份，我们在杨总编的帮助下，开始在天善智能社区和社群发起了写书的号召。

　　在写书号召发出的几天之内，我们就陆续接到来自大数据、数据分析、数据挖掘和商业智能BI领域100多位专家的报名，当然我们也力邀了一些在数据领域比较知名的朋友们加入。随后经过几轮筛选和审阅，最终有33篇稿件符合要求。

　　这33篇文章，我们根据主题分为了5个部分：

　　Part 1　数据化思维，专注思维

　　Part 2　数据治理，专注技术

　　Part 3　BI与数据可视化

　　Part 4　数据分析与数据挖掘

　　Part 5　大数据化之路，主要讲解不同行业是如何应用大数据的

　　所有文章独立成篇，在满足碎片化阅读的同时，也能让读者进行深入的思考和横向比较，帮助用户在碰到类似问题的时候打开思路、获得经验上的快速成长。

　　致谢

　　在此感谢各位作者艰辛的付出，同时感谢所有报名了但是因为各种原因最后未能成为本书的作者的朋友们，真诚感谢大家的努力和支持。

　　感谢北京铂金智慧网络科技有限公司（Ptmind）给本书提供的宝贵建议和支持。

　　我们不得不提这本书的作者们，他们是来自百度、腾讯、IBM、埃森哲、Teradata、美特斯邦威、帆软软件、永洪科技、好未来、ETHINK象形科技、万达、乐逗游戏、况客、北京易莱信科技、奥威软件、达观数据、诸葛IO、中科软、神策数据、融360、奥美互动、先进数通、同程旅游等知名公司的CEO、VP、CTO、技术总监、高级分析经理、架构师、咨询总监……都是数据领域的专家。

　　在本书的写作过程中，我们也得到了来自安徽象形科技（ETHINKBI）技术VP彭耀先生和北京易莱信科技的创始人&CEO汪尚先生的大力支持。彭耀在有关书籍的命名上给予了很多建议。汪尚在书籍文章分类上给予了我们专业的意见。

　　吕品　天善智能联合创始人&运营总监