统计自然语言处理

　　《统计自然语言处理（第2版）/中文信息处理丛书》全面介绍了统计自然语言处理的基本概念、理论方法和新研究进展，内容包括形式语言与自动机及其在自然语言处理中的应用、语言模型、隐马尔可夫模型、语料库技术、汉语自动分词与词性标注、句法分析、词义消歧、篇章分析、统计机器翻译、语音翻译、文本分类、信息检索与问答系统、自动文摘和信息抽取、口语信息处理与人机对话系统等，既有对基础知识和理论模型的介绍，也有对相关问题的研究背景、实现方法和技术现状的详细阐述。
　　《统计自然语言处理（第2版）/中文信息处理丛书》可作为高等院校计算机、信息技术等相关专业的高年级本科生或研究生的教材或参考书，也可供从事自然语言处理、数据挖掘和人工智能等研究的相关人员参考。

第1章 绪论
1．1 基本概念
1．1．1 语言学与语音学
1．1．2 自然语言处理
1．1．3 关于“理解”的标准
1．2 自然语言处理研究的内容和面临的困难
1．2．1 自然语言处理研究的内容
1．2．2 自然语言处理涉及的几个层次
1．2．3 自然语言处理面临的困难
1．3 自然语言处理的基本方法及其发展
1．3．1 自然语言处理的基本方法
1．3．2 自然语言处理的发展
1．4 自然语言处理的研究现状
1．5 本书的内容安排

第2章 预备知识
2．1 概率论基本概念
2．1．1 概率
2．1．2 最大似然估计
2．1．3 条件概率
2．1．4 贝叶斯法则
2．1．5 随机变量
2．1．6 二项式分布
2．1．7 联合概率分布和条件概率分布
2．1．8 贝叶斯决策理论
2．1．9 期望和方差
2．2 信息论基本概念
2．2．1 熵
2．2．2 联合熵和条件熵
2．2．3 互信息
2．2．4 相对熵
2．2．5 交叉熵
2．2．6 困惑度
2．2．7 噪声信道模型
2．3 支持向量机
2．3．1 线性分类
2．3．2 线性不可分
2．3．3 构造核函数

第3章 形式语言与自动机
3．1 基本概念
3．1．1 图
3．1．2 树
3．1．3 字符串
3．2 形式语言
3．2．1 概述
3．2．2 形式语法的定义
3．2．3 形式语法的类型
3．2．4 CFG识别句子的派生树表示
3．3 自动机理论
3．3．1 有限自动机
3．3．2 正则文法与自动机的关系
3．3．3 上下文无关文法与下推自动机
3．3．4 图灵机
3．3．5 线性界限自动机
3．4 自动机在自然语言处理中的应用
3．4．1 单词拼写检查
3．4．2 单词形态分析
3．4．3 词性消歧

第4章 语料库与语言知识库
4．1 语料库技术
4．1．1 概述
4．1．2 语料库语言学的发展
4．1．3 语料库的类型
4．1．4 汉语语料库建设中的问题
4．1．5 典型语料库介绍
……
第5章 语言模型
第6章 概率图模型
第7章 自动分词、命名实体识别与词性标注
第8章 句法分析
第9章 语义分析
第10章 篇章分析
第11章 统计机器翻译
第12章 语音翻译
第13章 文本分类与情感分类
第14章 信息检索与问答系统
第15章 自动文摘与信息抽取
第16章 口语信息处理与人机对话系统
参考文献
自然语言处理及其相关领域的国际会议
名词术语索引

　　我不是一个言而无信的人，也不是一个做事情拖泥带水的人，但本书的写作却让我被这两个恶名追逼得疲惫不堪。2011年4月我就与出版社签订了本书的出版合同，应诺当年10月底交稿，可是，我对自己的能力估计过高，尤其对自己从日常繁忙的工作中挤出时间来从事本书写作的能力估计过高，当然也对潮水般汹涌而来的各种事务所造成的巨大压力估计不足，致使我不得不在生存与履行诺言之间苦苦地煎熬，挣扎着一点一点地践行自己的承诺。可是，时间还是到了2013年！
　　我发誓，我已经尽了最大努力勤奋地工作，除了正常的上班和出差以外，几乎把所有的周末和晚上都奉献在了办公室，过着一种无歇息的“非正常生活”，但我毕竟没有三头六臂。我不知道那些耗费了我大量时间的纷杂事情来自何处，我也不知道那些让我天天奔忙的工作意义何在？但是我知道如果我不去那样疲于应对，就很可能早已被那一波接一波花样翻新的滚滚洪流抛甩在岸边。所以，我只能在困惑与无奈中被裹挟着、被推搡着砥砺前行，正所谓“树欲静而风不止”。
　　无论如何，书稿终于完成了，我做到了我想做的事情。
　　让我感到庆幸的是，在本书的修改过程中，得到了众多同行和学生的大力帮助。他们的无私奉献和援助使我受益颇丰。修改第1章时，关于“计算语言学”术语的出现时间，曾向冯志伟教授请教。在修改第4章的过程中，俞士汶教授和陆勤教授提供了相关材料，并对部分内容进行了仔细的校对；在修改第5章和第7章的过程中，汪昆博士提供了大量数据和资料；夏睿博士校对了第6章的修改内容；鉴萍博士和王志国博士为修改第8章的内容提供了大量素材，并校对了部分内容；张仰森教授和庄涛博士校对了第9章的相关内容；王厚峰教授、周国栋教授和博士生涂眉为第10章的撰写提供了大量资料，并校对了全章的内容，孔芳博士补充了部分内容，张民教授对该章内容做了全面的校对；张家俊博士、陈钰枫博士和博士生翟飞飞为修改第11章给予了大力支持，周玉博士提出了许多宝贵的建议。杨沐昀博士提供了关于评测方法评测的相关内容，并给予了大力帮助；徐波研究员校对了第12章的增补内容；李寿山博士为第13章的修改和内容增补给予了大力帮助；赵军研究员和刘康博士为修改第14章提供了相关素材，并参与了部分概念的讨论，赵军老师还对部分内容做了校对；万小军博士为修改第15章提供了参考文献，并校对了部分增补的内容。他们热心的帮助和认真、负责的态度让我深受感动，衷心地感谢他们！
　　值得提及的是，本书第一版出版4年多来，得到了广大读者和同行的热情关注，能够在4年多的时间里重印3次是我未敢奢望的。但是，我深知本书的瑕疵和缺憾，这使我更加感受到同行和读者的宽容与忍耐！热心读者何晋一对本书第一版中存在的问题和错误给出了详细的指正，这让我由衷地感激！张玉洁教授等很多热心的同行和赵奇猛等一批热心的读者当面或通过邮件等不同形式对第一版的内容及存在的问题提出了宝贵的意见和建议，使我倍感欣慰，衷心地感谢他们！
　　另外不能不说的是，我所在研究组的全体老师多年来默默地奉献着他们的智慧和汗水，在各自的位置上发挥着不可替代的作用，为研究组的发展承担了大量繁重的工作。正因为有他们的分担和协作，才使我有机会抽出时间来完成本书的写作。请让我在这里把他们的名字一一列出（按音序）：陈钰枫、陆征、汪昆、张家俊、周玉。衷心地感谢他们！
　　本书的写作得到了中国科学院大学“精品数字课程”建设项目的资助。
　　统计自然语言处理（第2版）第二版前言 最后，我要衷心地感谢我的家人、朋友和同事多年来给予的大力支持、理解和帮助！感谢每一位给予我关爱和帮助的人！我谢天，惠恩我日月之光辉；我谢地，赐赏我大地之滋养！