情感计算与情感机器人系统

《情感计算与情感机器人系统》在介绍情感计算、情感建模以及人机情感交互概念的基础上，分析了当前人机情感交互的研究前沿，总结了在多模态情感识别方法、人机交互氛围场建模、情感意图理解方法、情感机器人的多模态情感表达以及人机情感交互系统应用方面的新研究成果，使读者对人机情感交互有更深的理解，对促进我国在情感计算与情感机器人领域的快速发展具有积极的作用。

目录
编者的话
前言
第1章 绪论 1
1.1 情感计算 1
1.1.1 情感计算概述 1
1.1.2 情感计算关键技术及现状 2
1.1.3 情感计算的应用 6
1.2 情感建模 7
1.2.1 维度情感模型 7
1.2.2 离散情感模型 11
1.2.3 其他情感模型 12
1.3 情感机器人 15
1.3.1 情感机器人的发展 15
1.3.2 情感机器人的应用 18
1.4 本书内容 22
参考文献 23
第2章 多模态情感特征提取 29
2.1 语音情感特征提取 29
2.1.1 语音信号预处理 29
2.1.2 声学情感特征提取 34
2.2 面部表情情感特征提取 41
2.2.1 人脸检测与定位 41
2.2.2 人脸表情特征提取 43
2.3 生理信号情感特征提取 47
2.3.1 生理信号简介 48
2.3.2 脑电信号预处理 49
2.3.3 脑电信号特征提取 52
参考文献 61
第3章 情感特征集降维方法 63
3.1 特征抽取 63
3.1.1 主成分分析法 64
3.1.2 线性判别分析法 65
3.1.3 多维尺度分析法 67
3.1.4 等距映射法 68
3.1.5 局部线性嵌入法 69
3.2 特征选择 73
3.2.1 相关性分析特征选择方法 73
3.2.2 随机森林特征选择方法 76
3.2.3 遗传算法特征选择方法 77
3.2.4 Relief特征选择算法 80
参考文献 81
第4章 多模态情感识别与表达 84
4.1 情感识别方法 84
4.1.1 反向传输神经网络 84
4.1.2 支持向量机 86
4.1.3 超限学习机 89
4.1.4 大脑情感学习 91
4.1.5 深度神经网络 94
4.2 多模态情感信息融合 96
4.2.1 特征级融合 96
4.2.2 决策级融合 98
4.3 多模态情感表达 102
4.3.1 情感语音合成 102
4.3.2 面部表情的合成与表达 106
4.3.3 肢体语言情感的合成与表达 110
参考文献 115
第5章 人机交互氛围场建模 118
5.1 模糊氛围场建模 118
5.1.1 交流氛围场三维空间模型 119
5.1.2 情感状态的三维空间模型 121
5.1.3 模糊氛围场模型 122
5.1.4 模糊氛围场的图形化表示 126
5.2 基于模糊层次分析的氛围场模型 129
5.2.1 人机交互氛围的模糊层次分析 129
5.2.2 权重动态调整 131
5.2.3 人机交互氛围场权重计算实例 133
5.2.4 人机交互氛围场实验 133
5.3 模糊氛围场的行为适应 136
5.3.1 基于模糊产生式规则的友好Q学习行为适应机制 136
5.3.2 基于合作-中立-竞争的友好Q学习行为适应机制 139
5.3.3 模糊氛围场的行为适应实验 142
参考文献 152
第6章 情感意图理解方法 155
6.1 情感意图 155
6.1.1 情感意图的定义 155
6.1.2 情感意图的影响因素分析 156
6.2 情感意图理解模型 158
6.2.1 基于模糊多层次分析的情感意图理解模型 158
6.2.2 基于T-S模糊多层次分析的情感意图理解模型 163
6.3 情感意图行为适应机制 165
6.3.1 基于模糊友好Q学习的情感意图行为适应机制 165
6.3.2 基于信息驱动的模糊友好Q学习情感意图行为适应机制 165
6.4 情感意图实验 170
6.4.1 情感意图的理解实验 171
6.4.2 情感意图的行为适应实验 183
参考文献 189
第7章 情感机器人系统的设计及应用 193
7.1 早期的人机情感交互系统 193
7.1.1 Mascot人机情感交互系统 193
7.1.2 WE-4R Ⅱ人机情感交互系统 197
7.2 多模态人机情感交互系统 199
7.2.1 系统设计目标 200
7.2.2 系统功能模块 202
7.2.3 系统整体架构 203
7.2.4 情感交互场景规划 205
7.2.5 系统功能设计实现 207
参考文献 214
附录 216

　　《情感计算与情感机器人系统》：
　　第1章 绪论
　　情感在人们的日常生活中起着重要的作用。人与人之间的交流过程中传递着大量的情感信息，这使得人们可以进行和谐自然的交流。随着感性工学和人工心理学的发展，情感逐渐受到认知科学研究者的广泛关注。目前，认知科学家把情感与知觉、学习、记忆、言语等经典认知过程相提并论，关于情感本身及情感与其他认知过程中相互作用的研究也成为当代认知科学的热点。
　　情感计算是人机情感交互系统和情感机器人的关键技术。随着人工智能技术的发展，人机交互已经逐渐步入人们的日常生活，但是传统的人机交互方式是机械化的，难以满足现在的需求。情感计算技术的引入使机器具有了与人类似的情感功能，在人机交互中能够与人发生情感上的互动，从而使得人与机器间的交流更加自然。
　　1.1 情感计算
　　情感计算就是赋予计算机像人一样的观察、理解和表达各种情感特征的能力，最终使计算机能与人进行自然、亲切和生动的交互[1]。情感计算及其在人机交互系统中的应用必将成为未来人工智能的一个重要研究方向[2]。
　　1.1.1 情感计算概述
　　情感计算的概念是在1997年由麻省理工学院（Massachusetts Institute of Tech-nology，MIT）媒体实验室Picard教授提出的，她指出情感计算与情感相关，源于情感或能够对情感施加影响的计算[3]。1999年，北京科技大学王志良教授提出了人工心理理论[4]，对人的情感、意志、性格、创造等心理活动进行研究。人工心理理论以人工智能现有的理论和方法为基础，是人工智能的继承和发展，有着更广泛的内容。中国科学院自动化研究所胡包刚研究员等也通过自己的研究，提出了情感计算的定义，认为情感计算的目的是通过赋予计算机识别、理解、表达和适应人的情感的能力来建立和谐人机环境，并使计算机具有更高的、全面的智能。
　　心理学和认知科学对情感计算的发展起了很大的促进作用。心理学研究表明，情感是人与环境之间某种关系的维持或改变，当外界环境的发展与人的需求及愿望符合时会引起人积极肯定的情感，反之则会引起人消极否定的情感。情感是人态度在生理上一种较复杂而又稳定的生理评价和体验，在生理反应上的反映包括喜、怒、忧、思、悲、恐、惊七种基本情感。情感因素往往影响着人们的理性判断和决策，因此人们常常以避免“感情用事”来告诫自己和他人。但情感因素对人们的影响也不都是负面的，根据心理学和医学的相关研究成果，人们如果丧失了一定的情感能力，如理解和表达情感的能力，那么理性的决策和判断是难以达到的。不少学者认为情感能力是人类智能的重要标志，领会、运用、表达情感的能力发挥着比传统的智力更为重要的作用。
　　情感计算是一门综合性很强的技术，是人工智能情感化的关键一步。情感计算的主要研究内容包括：分析情感的机制，主要是情感状态判定及与生理和行为之间的关系；利用多种传感器获取人当前情感状态下的行为特征与生理变化信息，如语音信号、面部表情、身体姿态等体态语以及脉搏、皮肤电、脑电等生理指标；通过对情感信号的分析与处理，构建情感模型将情感量化，使机器人具有感知、识别并理解人情感状态的能力，从而使情感更加容易表达；根据情感分析与决策的结果，机器人能够针对人的情感状态进行情感表达，并做出行为反应[5]。
　　近年来，随着情感计算技术的快速发展，人机情感交互和情感机器人已成为人机交互和情感计算领域的研究热点，其内容涉及数学、心理学、计算机科学、人工智能和认知科学等众多学科。人机情感交互就是要实现计算机识别和表达情感的功能，最终使人与计算机能够进行自然、和谐的交互。当前，基于语音、面部表情、手势、生理信号等方式的人机情感交互系统和情感机器人的开发取得了一定的成果，它在远程教育、医疗保健、助老助残、智能驾驶、网络虚拟游戏和服务机器人等诸多领域有着广阔的应用前景。
　　1.1.2 情感计算关键技术及现状
　　情感计算中关键的两个技术环节是如何让机器能够识别人的情感、如何根据人的情感状态产生和表达机器的情感。虽然情感计算是一门新兴学科，但前期心理学、生理学、行为学和脑科学等相关学科的研究成果已经为情感计算的研究奠定了坚实的基础。目前，国内外关于情感计算的研究已经在情感识别和情感合成与表达方面，包括语音情感识别与合成表达、人脸表情识别与合成表达、生理信号情感识别、身体姿态情感识别与合成表达等，取得了初步成果。
　　……