双模态及语义知识的三维人脸表情识别方法.pdf

34 4 仪 器 仪 表 学 报 Vol. 34 No. 4 第 卷 第 期 2013 4 Chinese Journal of Scientific Instrument Apr． 2013 年 月 双模态及语义知识的三维人脸表情识别方法* ， 胡步发 王金伟 ( 350108) 福州大学机械工程及自动化学院 福州 : ， ， ， 、 。 ， 摘 要 目前 人脸表情识别的主要研究对象是二维图像 它所包含的信息有限 而且易受人脸姿态 光照等影响 其次 人脸 ， ， ， 表情识别方法大多是基于图像低层视觉特征 而人类对图像的理解是基于高层语义知识 这两者之间存在本质上的差异 即 “ ”。 ， ， 。 语义鸿沟 为此 在三维人脸表情图像和语义知识的基础上 创新地提出双模态及语义知识的三维人脸表情识别方法 该 ， ; 方法首先提出一种将三维的局部曲率和二维局部角点进行双模态融合的方法 自动提取准确的三维人脸表情低层视觉特征 然 ， AHP G1 ; ， K-NN ， 后 采用 和 相结合计算高层语义知识向量 最后 采用 算法将低层视觉特征和高层语义知识融合 缩小低层视觉 “ ”， 。 特征和高层语义知识之间的 语义鸿沟 提高人脸表情的识别率 : ; ; ;K-NN 关键词 三维人脸表情识别 高层语义知识 低层视觉特征 中图分类号:TP391． 4 文献标识码:A 国家标准学科分类代码:510 ． 40 3D facial expression recognition method based on bimodal and semantic knowledge Hu Bufa ，Wang Jinwei (College of Mechanical Engineering and Automation ，Fuzhou University ，Fuzhou 350108 ，China) Abstract :At present ，the main research object of facial expression recognition is 2D image ;it does not have enough information ，and is vulnerable to the face pose ，illumination and etc． Secondly ，the facial expression recognition meth- ods are mostl