高级搜索

基于多尺度细节增强的面部表情识别方法

谭小慧 李昭伟 樊亚春

引用本文: 谭小慧, 李昭伟, 樊亚春. 基于多尺度细节增强的面部表情识别方法[J]. 电子与信息学报, doi: 10.11999/JEIT181088 shu
Citation:  Xiaohui TAN, Zhaowei LI, Yachun FAN. Facial Expression Recognition Method Based on Multi-scale Detail Enhancement[J]. Journal of Electronics and Information Technology, doi: 10.11999/JEIT181088 shu

基于多尺度细节增强的面部表情识别方法

    作者简介: 谭小慧: 女,1977年生,博士,副教授,研究方向为计算机图形图像,虚拟现实;
    李昭伟: 男,1992年生,硕士生,研究方向为情感计算;
    樊亚春: 女,1978年生,博士,副教授,研究方向为计算机图形图像,人机交互
    通讯作者: 樊亚春,fanyachun@hotmail.com
  • 基金项目: 国家重点研发计划项目(2017YFB1002804),国家自然科学基金项目(61602324),浙江大学CAD&CG国家重点实验室开放课题(A1914)

摘要: 人类面部表情是其心理情绪变化的最直观刻画,不同人的面部表情具有很大差异,现有表情识别方法均利用面部统计特征区分不同表情,其缺乏对于人脸细节信息的深度挖掘。根据心理学家对面部行为编码的定义可以看出,人脸的局部细节信息决定了其表情意义。因此该文提出一种基于多尺度细节增强的面部表情识别方法,针对面部表情受图像细节影响较大的特点,提出利用高斯金字塔提取图像细节信息,并对图像进行细节增强,从而强化人脸表情信息。针对面部表情的局部性特点,提出利用层次结构的局部梯度特征计算方法,描述面部特征点局部形状特征。最后,使用支持向量机(SVM)对面部表情进行分类。该文在CK+表情数据库中的实验结果表明,该方法不仅验证了图像细节对面部表情识别过程的重要作用,而且在小规模训练数据下也能够得到非常好的识别结果,表情平均识别率达到98.19%。

English

    1. [1]

      MEHRABIAN A. Communication without words[J]. Psychology Today, 1968, 2(4): 53–56.

    2. [2]

      GUO Zhenhua, ZHANG Lei, and ZHANG D. A completed modeling of local binary pattern operator for texture classification[J]. IEEE Transactions on Image Processing, 2010, 19(6): 1657–1663. doi: 10.1109/TIP.2010.2044957

    3. [3]

      王玮, 黄非非, 李见为, 等. 采用LBP金字塔的人脸描述与识别[J]. 计算机辅助设计与图形学学报, 2009, 21(1): 94–100, 106.
      WANG Wei, HUANG Feifei, LI Jianwei, et al. Face description and recognition by LBP pyramid[J]. Journal of Computer-Aided Design &Computer Graphics, 2009, 21(1): 94–100, 106.

    4. [4]

      钟思志. 人脸面部表情识别算法研究[D]. [硕士论文], 华东师范大学, 2015.
      ZHONG Sizhi. Research on facial expression recognition[D]. [Master dissertation], East China Normal University, 2015.

    5. [5]

      杨凡, 张磊. 基于Gabor参数矩阵与改进Adaboost的人脸表情识别[J]. 计算机应用, 2014, 34(4): 1134–1138.
      YANG Fan and ZHANG Lei. Facial expression recognition based on Gabor parameters matrix and improved Adaboost[J]. Journal of Computer Applications, 2014, 34(4): 1134–1138.

    6. [6]

      童莹. 基于空间多尺度HOG特征的人脸表情识别方法[J]. 计算机工程与设计, 2014, 35(11): 3918–3922, 3979. doi: 10.3969/j.issn.1000-7024.2014.11.041
      TONG Ying. Facial expression recognition algorithm based on spatial multi-scaled HOG feature[J]. Computer Engineering and Design, 2014, 35(11): 3918–3922, 3979. doi: 10.3969/j.issn.1000-7024.2014.11.041

    7. [7]

      TURAN C and LAM K M. Region-based feature fusion for facial-expression recognition[C]. Proceedings of 2014 IEEE International Conference on Image Processing, Paris, France, 2014: 5966–5970.

    8. [8]

      SAEED A, AL-HAMADI A, and NIESE R. The effectiveness of using geometrical features for facial expression recognition[C]. Proceedings of 2013 IEEE International Conference on Cybernetics, Lausanne, Switzerland, 2013: 122–127.

    9. [9]

      CHEN Junkai, CHEN Zenghai, CHI Zheru, et al. Facial expression recognition in video with multiple feature fusion[J]. IEEE Transactions on Affective Computing, 2018, 9(1): 38–50. doi: 10.1109/TAFFC.2016.2593719

    10. [10]

      任福继, 于曼丽, 胡敏, 等. 融合表情和BVP生理信号的双模态视频情感识别[J]. 中国图象图形学报, 2018, 23(5): 688–697.
      REN Fuji, YU Manli, HU Min, et al. Dual-modality video emotion recognition based on facial expression and BVP physiological signal[J]. Journal of Image and Graphics, 2018, 23(5): 688–697.

    11. [11]

      LOPES A T, DE AGUIAR E, DE SOUZA A F, et al. Facial expression recognition with convolutional neural networks: Coping with few data and the training sample order[J]. Pattern Recognition, 2017, 61: 610–628. doi: 10.1016/j.patcog.2016.07.026

    12. [12]

      ZHANG Chongsheng, WANG Pengyou, CHEN Ke, et al. Identity-aware convolutional neural networks for facial expression recognition[J]. Journal of Systems Engineering and Electronics, 2017, 28(4): 784–792.

    13. [13]

      LUCEY P, COHN J F, KANADE T, et al. The extended cohn-kanade dataset (CK+): A complete dataset for action unit and emotion-specified expression[C]. Proceedings of 2010 IEEE Computer Society Conference on Computer Vision and Pattern Recognition-Workshops, San Francisco, USA, 2010: 94–101.

    14. [14]

      YAO Yongqiang, HUANG Di, YANG Xudong, et al. Texture and geometry scattering representation-based facial expression recognition in 2D+3D videos[J]. ACM Transactions on Multimedia Computing, Communications, and Applications, 2018, 14(1S): 18.

    15. [15]

      李勇, 林小竹, 蒋梦莹. 基于跨连接LeNet-5网络的面部表情识别[J]. 自动化学报, 2018, 44(1): 176–182.
      LI Yong, LIN Xiaozhu, and JIANG Mengying. Facial expression recognition with cross-connect LeNet-5 network[J]. Acta Automatica Sinica, 2018, 44(1): 176–182.

    16. [16]

      JIA Qi, GAO Xinkai, GUO He, et al. Multi-layer sparse representation for weighted LBP-patches based facial expression recognition[J]. Sensors, 2015, 15(3): 6719–6739. doi: 10.3390/s150306719

    17. [17]

      ZHOU Jun, ZHANG Sue, MEI Hongyan, et al. A method of facial expression recognition based on Gabor and NMF[J]. Pattern Recognition and Image Analysis, 2016, 26(1): 119–124. doi: 10.1134/S1054661815040070

    1. [1]

      钱亚冠, 卢红波, 纪守领, 周武杰, 吴淑慧, 云本胜, 陶祥兴, 雷景生. 基于粒子群优化的对抗样本生成算法. 电子与信息学报,

    2. [2]

      赵斐, 张文凯, 闫志远, 于泓峰, 刁文辉. 基于多特征图金字塔融合深度网络的遥感图像语义分割. 电子与信息学报,

    3. [3]

      周武杰, 潘婷, 顾鹏笠, 翟治年. 基于金字塔池化网络的道路场景深度估计方法. 电子与信息学报,

    4. [4]

      罗钧, 杨永松, 侍宝玉. 基于改进的自适应差分演化算法的二维Otsu多阈值图像分割. 电子与信息学报,

    5. [5]

      张鹤玖, 余宁梅, 吕楠, 刘尕. 一种用于时延积分CMOS图像传感器的10 bit全差分双斜坡模数转换器. 电子与信息学报,

    6. [6]

      刘涛, 许成谦, 李玉博. 基于差族构造高斯整数周期互补序列. 电子与信息学报,

    7. [7]

      张刚, 陈和祥, 张天骐. 多用户降噪差分混沌键控通信方案. 电子与信息学报,

    8. [8]

      黄果, 许黎, 陈庆利, 蒲亦非. 非局部多尺度分数阶微分图像增强算法研究. 电子与信息学报,

    9. [9]

      谢湘, 张立强, 王晶. 残差网络在婴幼儿哭声识别中的应用. 电子与信息学报,

    10. [10]

      刘浩, 孙晓帆, 张鑫生, 吴乐明, 况奇刚. 面向图像集的置信区间内一致性增强质量评价准则. 电子与信息学报,

    11. [11]

      张刚, 赵畅畅, 张天骐. 短参考正交多用户差分混沌键控方案的性能分析. 电子与信息学报,

    12. [12]

      许杰, 徐珂, 黄志祥. 一种新型的高阶时域有限差分方法. 电子与信息学报,

    13. [13]

      赵辉, 张静, 张乐, 刘莹莉, 张天骐. 基于非局部低秩和加权全变分的图像压缩感知重构算法. 电子与信息学报,

    14. [14]

      杨磊, 李埔丞, 李慧娟, 方澄. 稳健高效通用SAR稀疏特征增强算法. 电子与信息学报,

    15. [15]

      陈鸿昶, 吴彦丞, 李邵梅, 高超. 基于行人属性分级识别的行人再识别. 电子与信息学报,

    16. [16]

      代振, 王平波, 卫红凯. 非高斯背景下基于Sigmoid函数的信号检测. 电子与信息学报,

    17. [17]

      胡宇翔, 范宏伟, 兰巨龙, 段通. 一种支持硬件加速的虚拟网络功能部署模型. 电子与信息学报,

    18. [18]

      孙瑾, 王小静, 王尚平, 任利利. 支持属性撤销的可验证多关键词搜索加密方案. 电子与信息学报,

    19. [19]

      赵军, 曾学文, 郭志川. 支持国产密码算法的高速PCIe密码卡的设计与实现. 电子与信息学报,

    20. [20]

      王晶, 樊宇, 赵鼎, 杨晨, 王刚, 罗积润. 考虑回旋共振增强效应的平面单栅注波互作用线性分析. 电子与信息学报,

  • 图 1  多尺度细节增强人脸表情识别流程

    图 2  特征点分布图

    图 3  高斯图像差分

    图 4  细节特征叠加图像

    图 5  细节增强前后对比

    图 6  像素区域

    图 7  特征点及区域图

    图 8  CK+表情库7种表情示例图像

    图 9  实验结果比较

    图 10  P-R曲线

    图 11  多尺度细节增强效果对比图

    表 1  高斯模糊半径取值的最优识别率(%)

    高斯核中性愤怒厌恶恐惧微笑悲伤惊讶整体
    K198.0099.3310096.6710094.6796.0097.81
    K296.0098.6710095.3310096.6798.0097.81
    下载: 导出CSV

    表 2  表情识别率分布表(%)

    中性愤怒厌恶恐惧高兴悲伤惊讶
    中性98.0000002.000
    愤怒0100.0000000
    厌恶0099.33000.670
    恐惧00095.332.6702.00
    高兴000010000
    悲伤3.33000096.670
    惊讶1.33000.670098.00
    下载: 导出CSV

    表 3  本文方法与CNN与LeNet-5方法比较(%)

    方法中性愤怒厌恶恐惧微笑悲伤惊讶整体
    CNN[11]95.1591.1199.4492.0010082.1498.8095.75
    LeNet-5[15]65.3776.3087.5980.9294.2682.2394.5583.74
    本文方法98.0010099.3395.3310096.6798.0098.19
    下载: 导出CSV

    表 4  不同方法识别率对比(%)

    方法识别率
    LBP[16]92.30
    Gabor[17]98.10
    CNN[11]95.75
    I2CNN[12]96.20
    LeNet-5[15]83.74
    本文方法98.19
    下载: 导出CSV
  • 加载中
图(11)表(4)
计量
  • PDF下载量:  18
  • 文章访问数:  360
  • HTML全文浏览量:  270
文章相关
  • 通讯作者:  樊亚春, fanyachun@hotmail.com
  • 收稿日期:  2018-11-26
  • 录用日期:  2019-02-27
  • 网络出版日期:  2019-05-20
通讯作者: 陈斌, bchen63@163.com
  • 1. 

    沈阳化工大学材料科学与工程学院 沈阳 110142

  1. 本站搜索
  2. 百度学术搜索
  3. 万方数据库搜索
  4. CNKI搜索

/

返回文章