目前,人脸表情识别的主要研究对象是二维图像,它所包含的信息有限,而且易受人脸姿态、光照等影响。其次,人脸表情识别方法大多是基于图像低层视觉特征,而人类对图像的理解是基于高层语义知识,这两者之间存在本质上的差异,即“语义鸿沟”。为此,在三维人脸表情图像和语义知识的基础上,创新地提出双模态及语义知识的三维人脸表情识别方法。该方法首先提出一种将三维的局部曲率和二维局部角点进行双模态融合的方法,自动提取准确的三维人脸表情低层视觉特征;然后,采用AHP和G1相结合计算高层语义知识向量;最后,采用K—NN算法将低层视觉特征和高层语义知识融合,缩小低层视觉特征和高层语义知识之间的“语义鸿沟”,提高人脸表情的识别率。