自然交互与传感技术65-面结构光三维测量技术

3.4 自然交互与传感技术 65识别是从视觉通道获得信号，有的要求手要戴上特殊颜色的手套，有的要求戴多种颜色的手套来确定手的各部位。通常采用摄像机采集手势信息，由摄像机连续拍摄下手部的运动图像后，先采用轮廓的办法识别出手上的每一个手指，进而再用边界特征识别的方法区分每一个较小的、集中的手势。该方法的优点是输入设备比较便宜，使用时不干扰用户，但识别率比较低，实时性较差，特别是很难用于大词汇量的复杂手势识别。手势识别技术的研究不仅能使VR系统交互更自然，同时还能有助于改善和提高聋哑人的生活学习和工作条件，也可以应用于计算机辅助哑语教学、电视节目双语播放、虚拟人的研究、电影制作中的特技处理、动画的制作、医疗研究、游戏娱乐等诸多方面。

3.4.2 面部表情识别在人与人的交互中，人脸是十分重要的，人可以通过脸部的表情表达自己的各种情绪，传递必要的信息。人脸识别是一个非常热门的技术，具有广泛的应用前景。人脸图像的分割、主要特征（如眼睛、鼻子等）的定位以及识别是这个技术的主要难点。国内外都有很多研究人员在从事这一方面的研究，提出了很多好的方法，如采用模板匹配的方法实现正面人脸的识别，采用尺度空间技术研究人脸的外形并获取人脸的特征点，采用神经网络的方法进行识别，采用对运动模型参数估计的方法来进行人脸图像的分割等。但大多数方法都存在一些共同的问题，如要求人脸变化不能太大、特征点定位计算量大等。在VR系统中，人的面部表情的交互在目前来说，还是一种不太成熟的技术。一般人脸检测问题可以描述为：给定一幅静止图像或一段动态图像序列，从未知的图像背景中分割、提取并确认可能存在的人脸。如果检测到人脸，提取人脸特征。虽然人类可以很轻松地从非常复杂的背景中看出人脸，但对于计算机来说却相当困难。在某些可以控制拍摄条件的场合，将人脸限定在标尺内，此时人脸的检测与定位相对比较容易。在另一些情况下，人脸在图像中的位置预先是未知的，比如在复杂背景下拍摄的照片，这时人脸的检测与定位将受以下因素的影响：人脸在图像中的位置、角度和不固定尺度以及光照的影响，发型、眼镜、胡须以及人脸的表情变化，图像中的噪声等。所有这些因素都给人脸的正确检测与定位带来了困难。人脸检测的基本思想是建立人脸模型，比较所有可能的待检测区域与人脸模型的匹配程度，从而得到可能存在人脸的区域。根据对人脸知识的利用方式，可以将人脸检测方法分为两大类：基于特征的人脸检测方法和基于图像的人脸检测方法。第一类方法直接利用人脸信息，比如人脸肤色、人脸的几何结构等。这类方法大多用模式识别的经典理论，应用较多。第二类方法并不直接利用人脸信息，而是将人脸检测问题看做一般的模式识别问题，待检测图像被直接作为系统输入，中间不需特征提取和分析，直接利用训练算法将学习样本分为人脸类和非人脸类，检测人脸时只要比较这两类与可能的人脸区域，即可判断检测区域是否为人脸。

3.4.3 眼动跟踪在虚拟世界中生成视觉的感知主要依赖于对人头部的跟踪，即当用户的头部发生运动时，生成虚拟环境中的场景将会随之改变，从而实现实时的视觉显示。但在现实世界中，人们可能经常在不转动头部的情况下，仅仅通过移动视线来观察一定范围内的环境或物体。在这一点上，单纯依靠头部跟踪是不全面的。为了弥补这一缺陷，我们在VR系统中引入眼动跟踪技术。