虚拟现实系统中的人机交互技术主要是发展和完善三维交互。虚拟环境产生器的作用是根据内部模型和外部环境的变化计算生成人在回路中的逼真的虚拟环境，人通过各种传感器与这个虚拟环境进行交互。根据J.J.Gibson的概念模型，交互通道应该包括视觉、听觉、触觉、嗅觉、味觉和方向感等。

1）视觉通道

虚拟环境产生器通过视觉通道产生以用户本人为视点的包括各种景物和运动目标的视景，人通过头盔显示器等立体显示设备进行观察。视景的生成需要计算机系统具有很强的图形处理能力并配合合适的显示算法，而且显示设备应具备足够的显示分辨率。视觉通道是当前VR系统中研究比较多、成果比较显著的领域、在该领域中，对硬件的迫切要求是提高图形处理速度，比较困难的问题是如何减少图像生成器的时间延迟，关键技术是如何在运算量与实时性之间取得折中。人类的视觉系极其敏感和精巧，稍微不符合人的视觉习惯的视景失真，人的研究都能察觉到。当这种失真（比如显示分辨率太低或视觉参数的变化与屏幕显示的变化间延迟太大）超过人类视觉的生理域值时，就会出现不适症状。

2）听觉通道

听觉通道为用户提供三维立体音响。研究表明，人类有15％的信息量是通过听觉获得的。在VR系统中加入三维虚拟声音，可以增强用户在虚拟环境中的沉浸感和交互性。关于三维虚拟声音的定义，虚拟听觉系统的奠基者Chris Currell曾给出如下描述：“虚拟声音：一种已记录的声音，包含明显的音质信息，能改变人的感觉，让人相信这种记录声音正实实在在地产生在真实世界之中。”在VR系统中创建三维虚拟声音，关键问题是三维声音定位。具体地说，就是在三维虚拟空间中把实际的声音信号定位到特定的虚拟声源，以及实时跟踪虚拟声源位置变化或景象变化。

比较早的商用三维听觉定位系统是应NASAAmes Center的要求，由Crystal River Engineering Inc.公司研制的，名称为Convolvotron 听觉定位系统。该系统在VPL公司以Audio sphere 名称出售。

3）触觉与力反馈

触觉是指人与物体对象接触所得到的感觉，是触摸觉、压觉、振动觉和刺痛觉等皮肤感受的统称。力反馈是作用在人的肌肉、关节和筋腱上的力。在VR系统中，由于没有真正抓取物体，所以称为虚拟触觉和虚拟力反馈。

只有引入触觉与力反馈，才能真正建立一个“看得见摸得着”的虚拟环境。由于人的触觉相当敏感，一般精度的装置根本无法满足要求，所以触觉与力反馈的研究相当困难。对触觉与力反馈的研究成果主要有力学反馈手套、力学反馈操纵杆、力学反馈表面及力学阻尼系统等。但迄今为止，还没有令用户满意的商品化触觉／力反馈系统问世。对触觉的研究可能是VR系统研究人员面临的大挑战。

4）用户的输入

用户的输入指计算机系统如何感知用户的行为，包括：实时检测人的头的位置和指向；准确地获得人的手的位置和指向，以及手指的位置和角度等。

对于人的头部位置和指向的跟踪检测主要是通过安装在头盔上的跟踪装置实现的，跟踪方法主要有基于机电、电磁、声学以及光学等技术的方法。比较出名的有Polhemus公司的三种基于交流电磁技术方法跟踪器：Isotrak、3Space和Fastrak。对于手的检测与跟踪主要是采用数据手套。

5）语音识别与合成

语音识别与合成是计算机语音技术的两个重要方面。语音识别就是让计算机识别用户的语音命令甚至会话内容。它主要包括采样、确定输入信号（单元或单词）的起始端或终止端，由数字滤波器计算语音谱、音调轮廓图的估价、分解输入信号、单词识别和对输入信号做出响应7个基本过程。语音合成又称为码声器，功能是通过计算机把数字信息变成语音输出。它包括ROM存储、译码、数字语音合成、D／A转换和语音输出5个基本过程。语音识别与合成是语音处理的互逆过程。相比之下，语音识别更复杂一些。

当前，语音技术已成为人机交互的重要研究内容。国外有实力的大公司如Apple 公司、Motorola公司和IBM公司都投入了大量资金进行应用开发。有的语音技术产品已开始走向普通家庭，如IBM公司开发的ViaVoice6.0系统。在国内，该领域的研究主要得到国家“863”项目资助。随着研究的深入和技术的成熟，语音识别与合成将成为VR系统中重要的人机交互形式，使人机交互从目前的WIMP-窗口（Windows）、图标（Icon）、菜单（Menu）和定位器（Pointer）阶段向着自然交互的方向前进一大步。

注：本文出自《多媒体应用设计师教程》，清华大学出版社出版，李振华主编。我在这里分享是因为它深深触动了我，并希望更多人能够受益于它的智慧和启发。请尊重原创者的知识产权并前往原文阅读完整内容。