高级搜索

基于多尺度细节增强的面部表情识别方法

谭小慧 李昭伟 樊亚春

引用本文: 谭小慧, 李昭伟, 樊亚春. 基于多尺度细节增强的面部表情识别方法[J]. 电子与信息学报, 2019, 41(11): 2752-2759. doi: 10.11999/JEIT181088 shu
Citation:  Xiaohui TAN, Zhaowei LI, Yachun FAN. Facial Expression Recognition Method Based on Multi-scale Detail Enhancement[J]. Journal of Electronics and Information Technology, 2019, 41(11): 2752-2759. doi: 10.11999/JEIT181088 shu

基于多尺度细节增强的面部表情识别方法

    作者简介: 谭小慧: 女,1977年生,博士,副教授,研究方向为计算机图形图像,虚拟现实;
    李昭伟: 男,1992年生,硕士生,研究方向为情感计算;
    樊亚春: 女,1978年生,博士,副教授,研究方向为计算机图形图像,人机交互
    通讯作者: 樊亚春,fanyachun@hotmail.com
  • 基金项目: 国家重点研发计划项目(2017YFB1002804),国家自然科学基金项目(61602324),浙江大学CAD&CG国家重点实验室开放课题(A1914)

摘要: 人类面部表情是其心理情绪变化的最直观刻画,不同人的面部表情具有很大差异,现有表情识别方法均利用面部统计特征区分不同表情,其缺乏对于人脸细节信息的深度挖掘。根据心理学家对面部行为编码的定义可以看出,人脸的局部细节信息决定了其表情意义。因此该文提出一种基于多尺度细节增强的面部表情识别方法,针对面部表情受图像细节影响较大的特点,提出利用高斯金字塔提取图像细节信息,并对图像进行细节增强,从而强化人脸表情信息。针对面部表情的局部性特点,提出利用层次结构的局部梯度特征计算方法,描述面部特征点局部形状特征。最后,使用支持向量机(SVM)对面部表情进行分类。该文在CK+表情数据库中的实验结果表明,该方法不仅验证了图像细节对面部表情识别过程的重要作用,而且在小规模训练数据下也能够得到非常好的识别结果,表情平均识别率达到98.19%。

English

    1. [1]

      MEHRABIAN A. Communication without words[J]. Psychology Today, 1968, 2(4): 53–56.

    2. [2]

      GUO Zhenhua, ZHANG Lei, and ZHANG D. A completed modeling of local binary pattern operator for texture classification[J]. IEEE Transactions on Image Processing, 2010, 19(6): 1657–1663. doi: 10.1109/TIP.2010.2044957

    3. [3]

      王玮, 黄非非, 李见为, 等. 采用LBP金字塔的人脸描述与识别[J]. 计算机辅助设计与图形学学报, 2009, 21(1): 94–100, 106.
      WANG Wei, HUANG Feifei, LI Jianwei, et al. Face description and recognition by LBP pyramid[J]. Journal of Computer-Aided Design &Computer Graphics, 2009, 21(1): 94–100, 106.

    4. [4]

      钟思志. 人脸面部表情识别算法研究[D]. [硕士论文], 华东师范大学, 2015.
      ZHONG Sizhi. Research on facial expression recognition[D]. [Master dissertation], East China Normal University, 2015.

    5. [5]

      杨凡, 张磊. 基于Gabor参数矩阵与改进Adaboost的人脸表情识别[J]. 计算机应用, 2014, 34(4): 1134–1138.
      YANG Fan and ZHANG Lei. Facial expression recognition based on Gabor parameters matrix and improved Adaboost[J]. Journal of Computer Applications, 2014, 34(4): 1134–1138.

    6. [6]

      童莹. 基于空间多尺度HOG特征的人脸表情识别方法[J]. 计算机工程与设计, 2014, 35(11): 3918–3922, 3979. doi: 10.3969/j.issn.1000-7024.2014.11.041
      TONG Ying. Facial expression recognition algorithm based on spatial multi-scaled HOG feature[J]. Computer Engineering and Design, 2014, 35(11): 3918–3922, 3979. doi: 10.3969/j.issn.1000-7024.2014.11.041

    7. [7]

      TURAN C and LAM K M. Region-based feature fusion for facial-expression recognition[C]. Proceedings of 2014 IEEE International Conference on Image Processing, Paris, France, 2014: 5966–5970.

    8. [8]

      SAEED A, AL-HAMADI A, and NIESE R. The effectiveness of using geometrical features for facial expression recognition[C]. Proceedings of 2013 IEEE International Conference on Cybernetics, Lausanne, Switzerland, 2013: 122–127.

    9. [9]

      CHEN Junkai, CHEN Zenghai, CHI Zheru, et al. Facial expression recognition in video with multiple feature fusion[J]. IEEE Transactions on Affective Computing, 2018, 9(1): 38–50. doi: 10.1109/TAFFC.2016.2593719

    10. [10]

      任福继, 于曼丽, 胡敏, 等. 融合表情和BVP生理信号的双模态视频情感识别[J]. 中国图象图形学报, 2018, 23(5): 688–697.
      REN Fuji, YU Manli, HU Min, et al. Dual-modality video emotion recognition based on facial expression and BVP physiological signal[J]. Journal of Image and Graphics, 2018, 23(5): 688–697.

    11. [11]

      LOPES A T, DE AGUIAR E, DE SOUZA A F, et al. Facial expression recognition with convolutional neural networks: Coping with few data and the training sample order[J]. Pattern Recognition, 2017, 61: 610–628. doi: 10.1016/j.patcog.2016.07.026

    12. [12]

      ZHANG Chongsheng, WANG Pengyou, CHEN Ke, et al. Identity-aware convolutional neural networks for facial expression recognition[J]. Journal of Systems Engineering and Electronics, 2017, 28(4): 784–792.

    13. [13]

      LUCEY P, COHN J F, KANADE T, et al. The extended cohn-kanade dataset (CK+): A complete dataset for action unit and emotion-specified expression[C]. Proceedings of 2010 IEEE Computer Society Conference on Computer Vision and Pattern Recognition-Workshops, San Francisco, USA, 2010: 94–101.

    14. [14]

      YAO Yongqiang, HUANG Di, YANG Xudong, et al. Texture and geometry scattering representation-based facial expression recognition in 2D+3D videos[J]. ACM Transactions on Multimedia Computing, Communications, and Applications, 2018, 14(1S): 18.

    15. [15]

      李勇, 林小竹, 蒋梦莹. 基于跨连接LeNet-5网络的面部表情识别[J]. 自动化学报, 2018, 44(1): 176–182.
      LI Yong, LIN Xiaozhu, and JIANG Mengying. Facial expression recognition with cross-connect LeNet-5 network[J]. Acta Automatica Sinica, 2018, 44(1): 176–182.

    16. [16]

      JIA Qi, GAO Xinkai, GUO He, et al. Multi-layer sparse representation for weighted LBP-patches based facial expression recognition[J]. Sensors, 2015, 15(3): 6719–6739. doi: 10.3390/s150306719

    17. [17]

      ZHOU Jun, ZHANG Sue, MEI Hongyan, et al. A method of facial expression recognition based on Gabor and NMF[J]. Pattern Recognition and Image Analysis, 2016, 26(1): 119–124. doi: 10.1134/S1054661815040070

    1. [1]

      佟鑫, 李莹, 陈岚. SVM算法在硬件木马旁路分析检测中的应用. 电子与信息学报, 2020, 42(7): 1643-1651.

    2. [2]

      张琳, 陈炳均, 吴志强. 基于矩阵低秩估计的可靠多载波差分混沌键控接收机. 电子与信息学报, 2020, 42(0): 1-8.

    3. [3]

      兰红, 方治屿. 零样本图像识别. 电子与信息学报, 2020, 42(5): 1188-1200.

    4. [4]

      武迎春, 王玉梅, 王安红, 赵贤凌. 基于边缘增强引导滤波的光场全聚焦图像融合. 电子与信息学报, 2020, 41(0): 1-9.

    5. [5]

      袁庆军, 张勋成, 高杨, 王永娟. 轻量级分组密码PUFFIN的差分故障攻击. 电子与信息学报, 2020, 42(6): 1519-1525.

    6. [6]

      贺利芳, 吴雪霜, 张天骐. 正交多载波降噪差分混沌键控通信系统. 电子与信息学报, 2020, 41(0): 1-9.

    7. [7]

      贺利芳, 陈俊, 张天骐. 短参考多用户差分混沌移位键控通信系统性能分析. 电子与信息学报, 2020, 42(0): 1-8.

    8. [8]

      贺利芳, 吴雪霜, 张天骐. 正交多用户短参考差分混沌移位键控通信系统性能分析. 电子与信息学报, 2020, 42(0): 1-9.

    9. [9]

      许欢, 苏树智, 颜文婧, 邓瀛灏, 谢军. 面向图像识别的测地局部典型相关分析方法. 电子与信息学报, 2020, 42(0): 1-6.

    10. [10]

      项厚宏, 陈伯孝, 杨婷, 杨明磊. 基于多帧相位增强的米波雷达低仰角目标DOA估计方法. 电子与信息学报, 2020, 42(7): 1581-1589.

    11. [11]

      彭海英, 王泽东, 吴大鹏. 带有卸载压缩激励的云增强FiWi网络节能机制. 电子与信息学报, 2020, 42(7): 1726-1733.

    12. [12]

      张玉磊, 陈文娟, 张永洁, 张雪微, 王彩芬. 支持关键字搜索的无证书密文等值测试加密方案. 电子与信息学报, 2020, 41(0): 1-7.

    13. [13]

      陈莹, 陈巧媛. 引入语义部位约束的行人再识别. 电子与信息学报, 2020, 41(0): 1-8.

    14. [14]

      夏平凡, 倪志伟, 朱旭辉, 倪丽萍. 基于双错测度的极限学习机选择性集成方法. 电子与信息学报, 2020, 42(0): 1-9.

    15. [15]

      刘彬, 杨有恒, 赵志彪, 吴超, 刘浩然, 闻岩. 一种基于正则优化的批次继承极限学习机算法. 电子与信息学报, 2020, 42(7): 1734-1742.

    16. [16]

      张天骐, 范聪聪, 葛宛营, 张天. 基于ICA和特征提取的MIMO信号调制识别算法. 电子与信息学报, 2020, 41(0): 1-8.

    17. [17]

      毛亮, 薛月菊, 魏颖慧, 朱婷婷. 一种用于细粒度人脸识别的眼镜去除方法. 电子与信息学报, 2020, 42(0): 1-9.

    18. [18]

      孙闽红, 丁辰伟, 张树奇, 鲁加战, 邵鹏飞. 基于统计相关差异的多基地雷达拖引欺骗干扰识别. 电子与信息学报, 2020, 42(0): 1-7.

    19. [19]

      王粉花, 赵波, 黄超, 严由齐. 基于多尺度和注意力融合学习的行人重识别. 电子与信息学报, 2020, 42(0): 1-8.

    20. [20]

      李万林, 王超, 许国良, 雒江涛, 张轩. 基于信令数据的轨迹驻留点识别算法研究. 电子与信息学报, 2020, 42(0): 1-8.

  • 图 1  多尺度细节增强人脸表情识别流程

    图 2  特征点分布图

    图 3  高斯图像差分

    图 4  细节特征叠加图像

    图 5  细节增强前后对比

    图 6  像素区域

    图 7  特征点及区域图

    图 8  CK+表情库7种表情示例图像

    图 9  实验结果比较

    图 10  P-R曲线

    图 11  多尺度细节增强效果对比图

    表 1  高斯模糊半径取值的最优识别率(%)

    高斯核中性愤怒厌恶恐惧微笑悲伤惊讶整体
    K198.0099.3310096.6710094.6796.0097.81
    K296.0098.6710095.3310096.6798.0097.81
    下载: 导出CSV

    表 2  表情识别率分布表(%)

    中性愤怒厌恶恐惧高兴悲伤惊讶
    中性98.0000002.000
    愤怒0100.0000000
    厌恶0099.33000.670
    恐惧00095.332.6702.00
    高兴000010000
    悲伤3.33000096.670
    惊讶1.33000.670098.00
    下载: 导出CSV

    表 3  本文方法与CNN与LeNet-5方法比较(%)

    方法中性愤怒厌恶恐惧微笑悲伤惊讶整体
    CNN[11]95.1591.1199.4492.0010082.1498.8095.75
    LeNet-5[15]65.3776.3087.5980.9294.2682.2394.5583.74
    本文方法98.0010099.3395.3310096.6798.0098.19
    下载: 导出CSV

    表 4  不同方法识别率对比(%)

    方法识别率
    LBP[16]92.30
    Gabor[17]98.10
    CNN[11]95.75
    I2CNN[12]96.20
    LeNet-5[15]83.74
    本文方法98.19
    下载: 导出CSV
  • 加载中
图(11)表(4)
计量
  • PDF下载量:  59
  • 文章访问数:  1265
  • HTML全文浏览量:  693
文章相关
  • 通讯作者:  樊亚春, fanyachun@hotmail.com
  • 收稿日期:  2018-11-26
  • 录用日期:  2019-02-27
  • 网络出版日期:  2019-05-20
  • 刊出日期:  2019-11-01
通讯作者: 陈斌, bchen63@163.com
  • 1. 

    沈阳化工大学材料科学与工程学院 沈阳 110142

  1. 本站搜索
  2. 百度学术搜索
  3. 万方数据库搜索
  4. CNKI搜索

/

返回文章