社交媒体自然语言处理

近年来，在线社交网络已经对人际交往沟通产生革命性影响。社交媒体语言分析研究主要集中在后者（社交媒体）对人类日常生活的影响，涉及个人和职业两个层面。自然语言处理（NLP）是社交媒体数据处理的有效途径之一。开发有效的方法、算法从多格式或多形式的多源多语种海量数据中抽取相关信息是一个科学挑战。本书讨论了与传统类型文本相比，社会媒体文本分析面临的挑战。

为适应数据类型，信息抽取、自动分类聚类、自动文摘索引、统计机器翻译方面的研究方法需要进行调整修正。本书针对可大量获取的非传统社交媒体数据（大数据），回顾当前自然语言处理工具、方法的相关研究成果。同时展示了创新的自然语言处理方法如何将适当的语言信息整合到各个领域，比如社会媒体监测、医疗保健、商业情报、工业、营销、安全和防务。

为适应新数据类型，信息抽取、自动分类聚类、自动文摘索引、统计机器翻译方面的研究方法需要进行调整修正。本书针对可大量获取的非传统社交媒体数据（大数据），回顾当前自然语言处理工具、方法的相关研究成果。同时展示了创新的自然语言处理方法如何将适当的语言信息整合到各个领域，比如社会媒体监测、医疗保健、商业情报、工业、营销、安全和防务。

本书的目标读者是对开发自动化社交媒体文本分析工具和应用感兴趣的研究者，希望本书能帮助读者更好地理解计算语言学和社交媒体分析，特别是文本挖掘技术和专为社交媒体文本设计的自然语言处理应用。

[加]阿塔夫.法辛达博士，南加利福尼亚大学数据科学研究院（DSI）的研究助理，也是南加利福尼亚大学（USC）维特比工程学院计算机科学系的教师。她获得了蒙特利尔大学计算机科学专业博士学位，2005年获得巴黎索邦大学自动法律文件摘要博士学位，是自然语言处理科技公司的创始人兼CEO，专门从事自然语言处理、法律决策摘要、机器翻译和社交媒体分析。

[加]戴安娜.英克彭博士，加拿大渥太华大学电气工程和计算机科学学院的教授，1994年在罗马尼亚的克卢日-纳波卡科技大学的计算机科学系获得工程学士学位，次年获得硕士学位，她于2003年在多伦多大学计算机科学系获得博士学位。她的研究兴趣和专长是自然语言处理和人工智能，特别是将词汇语义学应用于近义词和细微差别词、单词和文本相似性、基于情绪和情感的文本分类、自然语音的信息检索、信息提取，以及从社交媒体中检测精神健康问题的迹象。

第一章　社交媒体分析概述／ 1

1.1　导论／ 2

1.2　社交媒体应用／ 9

1.2.1　社交媒体数据中的跨语言文本分析／ 10

1.2.2　实际应用／ 11

1.3　社交媒体数据中的挑战／ 13

1.4　社交媒体语义分析／ 17

1.5　总结／ 19

第二章　社交媒体文本语言预处理／ 21

2.1　导论／ 22

2.2　自然语言处理工具的通用适配技术／ 24

2.2.1　文本标准化／ 26

2.2.2　社交媒体文本的NLP 工具再培训／ 28

2.3　分词器／ 29

2.4　词性标注器／ 31

2.5　语块分析器和语法分析器／ 37

2.6　命名实体识别器／ 41

2.7　现有自然语言处理英文工具包及其适应性／ 44

2.8　社交媒体文本的多语言和适应性／ 46

2.8.1　语言识别／ 47

2.8.2　方言识别／ 50

2.9　总结／ 58

第三章　社交媒体文本的语义分析／ 59

3.1　导论／ 60

3.2　地理位置检测／ 60

3.2.1　将社交媒体信息映射到地图中／ 61

3.2.2　现有地理位置信息／ 62

3.2.3　基于网络基础设施的地理位置／ 62

3.2.4　基于社交网络结构的地理位置／ 63

3.2.5　基于内容的位置检测／ 64

3.2.6　地理位置检测的评估指标／ 70

3.3　实体关联和消歧／ 74

3.3.1　实体和链接数据识别／ 75

3.3.2　实体关联的评估指标／ 79

3.4　观点挖掘和情绪分析／ 80

3.4.1　情感分析／ 80

3.4.2　情绪分析／ 85

3.4.3　讽刺检测／ 89

3.4.4　观点和情绪分类的评估指标／ 90

3.5　事件和话题检测／ 93

3.5.1　特定和非特定事件检测／ 93

3.5.2　新事件和旧事件／ 103

3.5.3　紧急事态感知／ 104

3.5.4　事件检测的评估指标／ 105

3.6　自动摘要／ 106

3.6.1　更新摘要／ 108

3.6.2　网络活动摘要／ 109

3.6.3　事件摘要／ 110

3.6.4　观点摘要／ 111

3.6.5　摘要的评估指标／ 113

3.7　机器翻译／ 114

3.7.1　应用于医学术语的标准化的基于短语的机器翻译／ 116

3.7.2　政府机构推特简讯的翻译／ 116

3.7.3　主题标签的出现、布局和翻译／ 119

3.7.4　阿拉伯社交媒体的机器翻译／ 123

3.7.5　机器翻译的评估指标／ 126

3.8　总结／ 127

第四章　社交媒体文本分析应用／ 129

4.1　导论／ 130

4.2　医疗保健应用／ 131

4.3　金融应用／ 141

4.4　预测投票意向／ 145

4.5　媒体监测／ 148

4.6　安全和国防应用／ 151

4.7　灾难和应急响应应用／ 156

4.8　基于NLP 的用户建模／ 158

4.9　娱乐应用／ 167

4.10　基于NLP 的社交媒体信息可视化／ 169

4.11　政府通信／ 170

4.12　总结／ 170

第五章　数据采集、标注和评估／ 173

5.1　导论／ 174

5.2　数据采集和标注的讨论／ 175

5.3　垃圾信息和噪声检测／ 176

5.4　社交媒体中的隐私和民主／ 179

5.5　评估基准／ 181

5.6　总结／ 184

第六章　总结与展望／ 185

6.1　结论／ 186

6.2　展望／ 187

附录A　TRANSLI：社交媒体分析和监控案例研究／ 191

A.1　TRANSLI 的架构／ 192

A.2　用户界面／ 194

术语／ 197

参考资料／ 201

索引／ 245

本书介绍了自然语言处理（NLP）在社交媒体数据语义分析的最新研究和应用情况。随着该领域的持续发展，第二版针对第一版提及的工作、应用增加了最新的方法和成果。

在过去的几年中，在线社交网站给个人、团体、社区之间的交流途径带来了革命性的变化，同时改变了人们的日常习惯。用户生成的空前规模的多样化信息，以及用户之间的交互网络，为理解社交行为、构建社会智能系统提供了新的机会。

很多社交网络、社交网络挖掘研究都是基于图论展开的。这种思路是合理的，因为社交结构是由社交参与者集合、社交参与者之间的二元关系集合组成。我们认为，面向社交网络的结构信息扩散图挖掘方法或社交网络影响力传播图挖掘方法，需要与社交媒体内容分析方法结合使用。这为新的应用社交互动产生的可获取的公开信息提供了机会。应用传统自然语言处理方法，可以部分解决集中于社交媒体发布消息的内容分析问题。当我们收到一个少于10 个字符、包含表情和心情符号的文本，我们可以理解甚至回应。虽然自然语言处理方法不能处理此类文本，但社交媒体数据存在基于两人可沟通的逻辑信息。同样的逻辑在世界上占据主导地位，全人类可以使用它（社交媒体）与其他人共享和交流信息。这是自然语言处理面临的一个新的挑战性语言。

我们相信需要新理论、算法开展社交媒体数据语义分析，同时需要一种新的大数据处理方法。本书提及的语义分析是指语义增强，并与社交网络结构相结合的社交媒体信息语言处理（方法）。事实上，我们在一个更广义层面来表示能进行社交媒体文本和元数据智能处理的应用。一些应用可以访问超大规模的数据。为此，算法需要调整以适应在线处理，不必非以存储所有数据（再处理）的形式处理数据（大数据）。

这种情况促使我们提出两个教程：《EMNLP 2015a 的社交媒体文本分析应用》和《29 届加拿大人工智能会议（AI 2016）的社交媒体自然语言处理》。我们还组织了多个主题研讨会：社交网络中的语义分析（SASM 2012）、社交媒体中的语言分析（LASM 2013d、LASM 2014e）、计算语言学会组织的ACL、EACL、NAACL-HLT。

我们的目标是广泛呈现语言分析研究及其成果，为自然语言处理、计算语言学、社会语言学、心理语言学等领域提供参考。我们的研讨会邀请所有与社交媒体语言分析相关的原创研究参与，包括以下主题：

·人们在社交媒体上讨论什么？

·他们如何表达自己？

·他们为什么在社交媒体上发布？

·语言和社交网络属性如何相互作用？

·面向社交媒体分析的自然语言处理技术。

·辅助理解社交数据的语义Web / 本体/ 域模型。

·通过语言分析来表征参与者。

·语言、社交媒体和人类行为。

还有其他几个相关的主题研讨会，例如与2012—2016年全球网络会议合作的理解微博（#Microposts）系列研讨会。

这些研讨会特别侧重于易发布的非正式短文本（如推文、脸谱共享信息、Instagram 类型共享信息、Google+信息）。另外还有自2013 年开始举办的系列社交媒体自然语言处理研讨会（SocialNLP），包括与EACL 2017合作举办的SocialNLP 2017 以及IEEE BigData 2017。本书的目标读者是对开发自动化社交媒体文本分析工具和应用感兴趣的研究者。我们假定读者拥有自然语言处理和机器学习的基础知识，希望本书能帮助读者更好地理解计算语言学和社交媒体分析，特别是文本挖掘技术和专为社交媒体文本设计的自然语言处理应用，如摘要、地点检测、情感情绪分析、话题检测和机器翻译。

阿塔夫·法辛达

戴安娜·英克彭

2017 年12 月