前言
什么是“人机交互显示”呢？我们将其定义为不仅能够在屏幕上显示可视信息，还能感知和理解人类行为、接收用户直接输入的显示器。能够“感觉” 到手指触摸的触摸屏已经十分普遍，尤其是那些装配在移动设备和一体化计算机上的。现在，新增的类人传感与理解识别技术正在推进新型交互式显示器及系统的开发，使其能够在所处的3D空间中“看”“听”且“领会”我们的行为。
我们运用多感官和多模态界面模式来理解周围的客观物理世界，并与人们在日常生活中交流。这些都是通过无缝拼接包括触摸、声音、姿势、面部表情和凝视在内的多种交互模式实现的。我们如果想通过人机交互来获取社交交互的丰富内涵，就必须为这些设备装上能够感知与领悟用户的输入与活动的技术。因此，增加多种自然用户界面能够使人类互动的体验更为真实。
我们与计算机交互的方式经历了最近几十年的变革，依靠鼠标和键盘作为输入工具的图形用户界面已取代传统的基于文本输入的命令式界面。而眼下，随着自然用户界面（通过触摸、姿势、语音等模式的人机交互）的兴起，我们正目睹着下一场技术革命的开始。实施人机界面模式的最终目标就是为用户呈现自然、直观、身临其境般的交互体验。虽然当前的技术局限使得设计师和工程师不得不有所妥协，致使部分目标仅能在完成某个特殊产品时实现，但是为了实现最终目标，我们在近几年来不断取得重大进展。
本书聚焦自然用户界面，对快速兴起的人机交互式显示领域内的技术、应用以及发展趋势进行了深度解读。第1章主要介绍人类感知和理解过程的基本要素，回顾了以触摸、声音和视觉感应推理为基础的自然界面技术，以及通过该技术实现的人机交互过程；随后各章深入每种输入与交互模态的细节，在实现多感官和多模态交互的目标过程中，对技术的基本原理及其在多种用户界面模式中的结合与应用展开细致的探讨；最后一章总结了基本要求和技术发展现状，展望了未来有望实现的“真实的”3D交互界面及其带来的真实的、沉浸式的交互体验。
Achintya K. Bhowmik于美国加利福尼亚
序言
人类对机器的交互式使用可以追溯到数千年以前。世界上第一台自动贩卖机可能是古希腊工程师Philo在公元前２２０年发明的。只需投入一枚硬币，它就会把称量好的肥皂传送到盥洗台上。这是一台带有擒纵机构的机械装置。这台颇为先进的机器无疑代表了当时最前沿的科技，但要说它对社会行为的发展产生了显著影响，这是值得商榷的。在往后的2200多年里，我们发现自己已经处于明显不同的境地。仅仅50年前，第一台电容触摸屏问世了；30年后这项技术发展成熟，已经广泛应用在笔记本电脑、销售点终端这样的高端设备以及掌上消费品市场；又一个10年过去了，如今的触控设备，至少是手持装置已经开始无处不在。
这有力地推动了本书的出版。本书由一组不同领域的高级技术专家联合撰写，涵盖了包括触摸、声音和视觉等主要交互形式。前两类互动形式将分两章分别讨论，视觉部分将在后五章阐释，主要关注已经问世或亟待问世的视觉科技特性。随后两章将介绍用来开发多模态交互显示的多种方法。本书结尾探讨如何呈现最为真实的3D立体图像。由于当前显示系统仅能保留高强度数据，而想要获得近似于人眼直接观察到的自然效果，就得通过保留已丢失的相位信息来实现了。
自此，读者会得出结论：本书全面回顾了当前新兴科技的发展。其实不尽然，因为我更想指出的是智能交互技术对社会带来的影响。虽然这些影响主要是积极的，但是也可能存在某些消极方面。这些都是公众关注的重要问题，因而值得辩论。积极的方面包括使用便捷；能够通过电脑或手机系统进行直观推理和预测；用简单的声音指令就能对复杂的结果进行讨论和管理；为身体不便的用户带来便利，并使其充分体验当前的各种产品，等等。然而消极的影响是，比起现在，通信系统会更广泛地侵入用户的生活。通话中的手机不仅早已被怀疑用来追踪定位，其未来系统还会更深入探测我们的行为模式。原则上，依靠计量生物数据来辨别身份的安全系统应当比目前的芯片和个人识别码技术更值得信赖，然而一旦前者的安全系统受损，可能泄露的安全数据将比后者要多得多。
未来人机交互体验的丰富程度，除非当前用户亲身使用，否则他们是难以想象的。过往的科幻现已成真。在技术创造的诸多可能性被供应商和用户采纳之前，有些问题必须讨论和解决。本书为此提供了多方面的素材和依据。对参与该主题的科学技术工作者和开发交互产品的参与者来说，这将是一本重要的书；对于有兴趣了解或需要了解交互技术会如何影响未来社会与人际行为的广大读者来说，本书也不容错过。
Anthony Lowe于英国Braishfield
