序一
数据库已成为现代软件生态的基石之一。遗憾的是,国产数据库的技术水平与国外一流水平相比还有一定的差距。同时,国产数据库在关键领域的应用普及度相对较低,应用研发人员规模还较小,大力推动和普及国产数据库的应用是当务之急。
由电子工业出版社策划,国防科技大学信息通信学院和武汉达梦数据库股份有限公司等单位多名专家联合编写的“国产数据库达梦丛书”,聚焦数据库管理系统这一重要基础软件,以达梦数据库系列产品及其关键技术为研究对象,翔实地介绍了达梦数据库的体系架构、应用开发技术、运维管理方法,以及面向大数据处理的集群、同步、交换等一系列内容,涵盖了数据库管理系统及大数据处理的多个关键技术和运用方法,既有技术深度,又有覆盖广度,是推动国产数据库技术深入广泛应用、打破国外数据库产品垄断局面的重要工作。
“国产数据库达梦丛书”的出版,预期可以缓解国产数据库系列教材和相关关键技术研究专著匮乏的问题,能够发挥出普及国产数据库技术、提高国产数据库专业化人才培养效益的作用。此外,丛书对国产数据库相关技术的应用方法和实现原理进行了深入探讨,也将会吸引更多的软件开发人员了解、掌握并运用国产数据库,同时可促进研究人员理解实施原理、加快相关关键技术的自主研发水平。
倪光南
中国工程院院士
2020年7月
序二
作为现代软件开发和运行的重要基础支撑之一,数据库技术在信息产业中得到了广泛应用。如今,即使进入人人联网、万物互联的网络计算新时代,持续成长、演化和发展的各类信息系统,仍离不开底层数据管理技术特别是数据库技术的支撑。数据库技术从关系型数据库到非关系型数据库、分布式数据库、数据交换等不断迭代更新,很好地促进了各类信息系统的稳定运行和广泛应用。但是,长期以来,我国信息产业中的数据库大量依赖国外产品和技术,特别是一些关系国计民生的重要行业信息系统也未摆脱国外数据库产品。大力发展国产数据库技术,夯实研发基础、吸引开发人员、丰富应用生态,已经成为我国信息产业发展和技术研究中一项重要且急迫的工作。
武汉达梦数据库股份有限公司研发团队和国防科技大学信息通信学院,长期从事国产数据库技术的研制、开发、应用和教学工作。为了助推国产数据库生态的发展,扩大国产数据库技术的人才培养规模与影响力,电子工业出版社在前期与团队合作的基础上,策划出版“国产数据库达梦丛书”。该套丛书以达梦数据库DM8为蓝本,全面覆盖了达梦数据库的开发基础、性能优化、集群、数据同步与交换等一系列关键问题,体系设计科学合理。
“国产数据库达梦丛书”不仅对数据库对象管理、安全管理、作业管理、开发操作、运维优化等基础内容进行了详尽说明,同时也深入剖析了大规模并行处理集群、数据共享集群、数据中心实时同步等高级内容的实现原理与方法。特别是针对DM8融合分布式架构、弹性计算与云计算的特点,介绍了其支持超大规模并发事务处理和事务分析混合型业务处理的方法,实现动态分配计算资源,提高资源利用精细化程度,体现了国产数据库的技术特色。相关内容既有理论和技术深度,又可操作实践,其出版工作是国产数据库领域产学研紧密协同的有益尝试。
王怀民
中国科学院院士
2020年7月
序三
习近平总书记指出,“重大科技创新成果是国之重器、国之利器,必须牢牢掌握在自己手上,必须依靠自力更生、自主创新。”基于此,实现关键核心技术创新发展,构建安全可控的信息技术体系非常必要。
数据库作为科技产业和数字化经济中三大底座(数据库、操作系统、芯片)技术之一,是信息系统的中枢,其安全、可控程度事关我国国计民生、国之重器的重大战略问题。但是,数据库技术被国外数据库公司垄断达几十年,对我国信息安全造成了一定的安全隐患。
以武汉达梦数据库股份有限公司为代表的国产数据库企业,坚持40余年的自主原创技术路线,经过不断打磨和应用案例的验证,已在我国关系国计民生的银行、国企、政务等重大行业广泛应用,突破了国外数据库产品垄断国内市场的局面,保障了我国基本生存领域和重大行业的信息安全。
为了助推国产数据库的生态发展,推动国产数据库管理系统的教学和人才培养,国防科技大学信息通信学院与武汉达梦数据库股份有限公司,在总结数据库管理系统长期教学和科研实践经验的基础上,以达梦数据库DM8为蓝本,联合编写了“国产数据库达梦丛书”。该套丛书的出版一是推动国产数据库生态体系培育,促进国产数据库快速创新发展;二是拓展国产数据库在关系国计民生业务领域的应用,彰显国产数据库技术的自信;三是总结国产数据库发展的经验教训,激发国产数据库从业人员奋力前行,创新突破。
李国徽
华中科技大学软件学院院长、教授
2020年7月
前言
随着大数据时代的来临,采集、存储、处理和传输的数据与日俱增,而这些支撑各应用系统的数据通常位于不同的数据源中,为有效地利用这些数据,实现企业或社会组织的数据共享与交换,减少数据采集的重复劳动和相应费用,需要从多个分布、异构和自治的数据源中集成数据,同时还需要保持数据在不同系统中的完整性和一致性。因此,对数据进行有效集成已成为增强企业市场竞争力的必然选择,为了促进各部门间的合作和数据共享,建立一个完善的数据交换和集成系统是极有应用价值且极为重要的。
达梦数据交换平台是武汉达梦数据库股份有限公司在十余年数据处理经验的基础上,研制开发的具有自主版权的、商品化的数据交换与处理平台。达梦数据交换平台创新地将传统的ETL(Extract、Transform、Loading)工具与分布式消息平台相结合,实现了对数据抽取、传输、整合及装载的一站式支持,是构建数据中心、数据仓库、数据交换和数据同步等数据集成类应用的理想平台,同时也可以作为数据加工处理工具由业务人员直接使用。
本书分为入门篇、基础篇和高级篇三个部分,全面系统地介绍了达梦数据交换平台概述、安装与配置、快速入门、数据源管理、转换、作业、函数与变量、调度与监控、权限与版本管理、增量数据抽取、达梦数据交换集群、数据质量检测、Web监控与数据总线自定义转换和数据源开发、ETL接口编程等内容。本书结合具体示例,详细阐述了达梦数据交换平台各功能组件的操作使用,同时也介绍了集群、数据总线等高级内容,适合不同学习进度的读者使用。
本书编写定位和要求由戴剑伟确定,大纲由张胜、梅纲拟制。第1章由戴剑伟执笔,第2、3章由王龙执笔,第4~9章由张守帅、李韬伟执笔,第10~13章由张胜、刘志红执笔,第14、15章由徐飞、张胜、祁超执笔,全书由曾昭文主审,付铨、张海粟、文峰、李向朋、刘培磊等同志在本书编写过程中承担了大量工作,最后统稿由张胜、王龙、祁超、李向朋完成。
在本书编写过程中,编者参考了武汉达梦数据库股份有限公司提供的相关技术资料,在此表示衷心的感谢。由于编者水平有限,加之时间仓促,书中难免有错误与不妥之处,敬请读者批评指正。读者在学习过程中有任何疑问,可发送邮件至791679213@qq.com与我们交流,也欢迎访问达梦数据库官网、达梦数据库官方微信公众号“达梦大数据”,或者拨打服务热线400-991-6599获取更多达梦数据库资料和服务。
编 者
2020年6月于武汉