高级搜索

用于表示级特征融合与分类的相关熵融合极限学习机

吴超 李雅倩 张亚茹 刘彬

引用本文: 吴超, 李雅倩, 张亚茹, 刘彬. 用于表示级特征融合与分类的相关熵融合极限学习机[J]. 电子与信息学报, 2020, 42(2): 386-393. doi: 10.11999/JEIT190186 shu
Citation:  Chao WU, Yaqian LI, Yaru ZHANG, Bin LIU. Correntropy-based Fusion Extreme Learning Machine forRepresentation Level Feature Fusion and Classification[J]. Journal of Electronics and Information Technology, 2020, 42(2): 386-393. doi: 10.11999/JEIT190186 shu

用于表示级特征融合与分类的相关熵融合极限学习机

    作者简介: 吴超: 男,1990年生,博士生,研究方向为计算机视觉;
    李雅倩: 女,1982年生,副教授,研究方向为计算机视觉;
    张亚茹: 女,1995年生,博士生,研究方向为计算机视觉;
    刘彬: 男,1953年生,教授,研究方向为计算机视觉
    通讯作者: 李雅倩,yaqianli@126.com
  • 基金项目: 国家自然科学基金(51641609)

摘要: 在极限学习机(ELM)网络结构和训练模式的基础上,该文提出了相关熵融合极限学习机(CF-ELM)。针对多数分类方法中表示级特征融合不充分的问题,该文将核映射与系数加权相结合,提出了能够有效融合表示级特征的融合极限学习机(F-ELM)。在此基础上,用相关熵损失函数替代均方误差(MSE)损失函数,推导出用于训练F-ELM各层权重矩阵的相关熵循环更新公式,以增强其分类能力与鲁棒性。为了检验方法的可行性,该文分别在数据库Caltech 101, MSRC和15 Scene上进行实验。实验结果证明,该文所提CF-ELM能够在原有基础上进一步融合表示级特征,从而提高分类正确率。

English

    1. [1]

      HUANG Guangbin, ZHU Qinyu, and SIEW C K. Extreme learning machine: Theory and applications[J]. Neurocomputing, 2006, 70(1/3): 489–501. doi: 10.1016/j.neucom.2005.12.126

    2. [2]

      HUANG Guangbin, ZHOU Hongming, DING Xiaojian, et al. Extreme learning machine for regression and multiclass classification[J]. IEEE Transactions on Systems, Man, and Cybernetics, Part B, 2012, 42(2): 513–529. doi: 10.1109/TSMCB.2011.2168604

    3. [3]

      KASUN L L C, ZHOU Hongming, HUANG Guangbin, et al. Representational learning with extreme learning machine for big data[J]. IEEE Intelligent Systems, 2013, 28(6): 31–34.

    4. [4]

      XING Hongjie and WANG Xinmei. Training extreme learning machine via regularized correntropy criterion[J]. Neural Computing and Applications, 2013, 23(7/8): 1977–1986. doi: 10.1007/s00521-012-1184-y

    5. [5]

      CHEN Liangjun, HONEINE P, QU Hua, et al. Correntropy-based robust multilayer extreme learning machines[J]. Pattern Recognition, 2018, 84: 357–370. doi: 10.1016/j.patcog.2018.07.011

    6. [6]

      LUO Xiong, SUN Jiankun, WANG Long, et al. Short-term wind speed forecasting via stacked extreme learning machine with generalized correntropy[J]. IEEE Transactions on Industrial Informatics, 2018, 14(11): 4963–4971. doi: 10.1109/TII.2018.2854549

    7. [7]

      HAN Honggui, WANG Lidan, and QIAO Junfei. Hierarchical extreme learning machine for feedforward neural network[J]. Neurocomputing, 2014, 128: 128–135. doi: 10.1016/j.neucom.2013.01.057

    8. [8]

      LI Qing, PENG Qiang, CHEN Junzhou, et al. Improving image classification accuracy with ELM and CSIFT[J]. Computing in Science & Engineering, 2019, 21(5): 26–34. doi: 10.1109/MCSE.2018.108164708

    9. [9]

      LAZEBNIK S, SCHMID C, and PONCE J. Beyond bags of features: Spatial pyramid matching for recognizing natural scene categories[C]. 2006 IEEE Computer Society Conference on Computer Vision and Pattern Recognition, New York, USA, 2006: 2169–2178. doi: 10.1109/CVPR.2006.68.

    10. [10]

      JÉGOU H, DOUZE M, SCHMID C, et al. Aggregating local descriptors into a compact image representation[C]. 2010 IEEE Computer Society Conference on Computer Vision and Pattern Recognition, San Francisco, USA, 2010: 3304–3311. doi: 10.1109/CVPR.2010.5540039.

    11. [11]

      SÁNCHEZ J, PERRONNIN F, MENSINK T, et al. Image classification with the fisher vector: Theory and practice[J]. International Journal of Computer Vision, 2013, 105(3): 222–245. doi: 10.1007/s11263-013-0636-x

    12. [12]

      李雅倩, 吴超, 李海滨, 等. 局部位置特征与全局轮廓特征相结合的图像分类方法[J]. 电子学报, 2018, 46(7): 1726–1731. doi: 10.3969/j.issn.0372-2112.2018.07.026
      LI Yaqian, WU Chao, LI Haibin, et al. Image classification method combining local position feature with global contour feature[J]. Acta Electronica Sinica, 2018, 46(7): 1726–1731. doi: 10.3969/j.issn.0372-2112.2018.07.026

    13. [13]

      AHMED K T, IRTAZA A, and IQBAL M A. Fusion of local and global features for effective image extraction[J]. Applied Intelligence, 2017, 47(2): 526–543. doi: 10.1007/s10489-017-0916-1

    14. [14]

      MANSOURIAN L, ABDULLAH M T, ABDULLAH L N, et al. An effective fusion model for image retrieval[J]. Multimedia Tools and Applications, 2018, 77(13): 16131–16154. doi: 10.1007/s11042-017-5192-x

    15. [15]

      ZOU Jinyi, LI Wei, CHEN Chen, et al. Scene classification using local and global features with collaborative representation fusion[J]. Information Sciences, 2016, 348: 209–226. doi: 10.1016/j.ins.2016.02.021

    16. [16]

      KONIUSZ P, YAN Fei, GOSSELIN P H, et al. Higher-order occurrence pooling for bags-of-words: Visual concept detection[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2017, 39(2): 313–326. doi: 10.1109/TPAMI.2016.2545667

    17. [17]

      WANG Jinjun, YANG Jianchao, YU Kai, et al. Locality-constrained linear coding for image classification[C]. 2010 IEEE Computer Society Conference on Computer Vision and Pattern Recognition, San Francisco, USA, 2010: 3360–3367.

    18. [18]

      ZHU Qihai, WANG Zhezheng, MAO Xiaojiao, et al. Spatial locality-preserving feature coding for image classification[J]. Applied Intelligence, 2017, 47(1): 148–157. doi: 10.1007/s10489-016-0887-7

    19. [19]

      XIONG Wei, ZHANG Lefei, DU Bo, et al. Combining local and global: Rich and robust feature pooling for visual recognition[J]. Pattern Recognition, 2017, 62: 225–235. doi: 10.1016/j.patcog.2016.08.006

    20. [20]

      GUI Jie, LIU Tongliang, TAO Dacheng, et al. Representative vector machines: A unified framework for classical classifiers[J]. IEEE Transactions on Cybernetics, 2016, 46(8): 1877–1888. doi: 10.1109/TCYB.2015.2457234

    21. [21]

      GOH H, THOME N, CORD M, et al. Learning deep hierarchical visual feature coding[J]. IEEE Transactions on Neural Networks and Learning Systems, 2014, 25(12): 2212–2225. doi: 10.1109/TNNLS.2014.2307532

    22. [22]

      肖文华, 包卫东, 陈立栋, 等. 一种用于图像分类的语义增强线性编码方法[J]. 电子与信息学报, 2015, 37(4): 791–797. doi: 10.11999/JEIT140743
      XIAO Wenhua, BAO Weidong, CHEN Lidong, et al. A semantic enhanced linear coding for image classification[J]. Journal of Electronics &Information Technology, 2015, 37(4): 791–797. doi: 10.11999/JEIT140743

    23. [23]

      LI Lijia, SU Hao, LIM Y, et al. Object bank: An object-level image representation for high-level visual recognition[J]. International Journal of Computer Vision, 2014, 107(1): 20–39. doi: 10.1007/s11263-013-0660-x

    24. [24]

      SONG Xinhang, JIANG Shuqiang, and HERRANZ L. Multi-scale multi-feature context modeling for scene recognition in the semantic manifold[J]. IEEE Transactions on Image Processing, 2017, 26(6): 2721–2735. doi: 10.1109/TIP.2017.2686017

    1. [1]

      王一宾, 裴根生, 程玉胜. 基于标记密度分类间隔面的组类属属性学习. 电子与信息学报, 2020, 42(5): 1179-1187.

    2. [2]

      李骜, 刘鑫, 陈德运, 张英涛, 孙广路. 基于低秩表示的鲁棒判别特征子空间学习模型. 电子与信息学报, 2020, 42(5): 1223-1230.

    3. [3]

      张斌, 吴浩明. 一种面向连接的快速多维包分类算法. 电子与信息学报, 2020, 42(6): 1526-1533.

    4. [4]

      蒲磊, 冯新喜, 侯志强, 余旺盛. 基于自适应背景选择和多检测区域的相关滤波算法. 电子与信息学报, 2020, 41(0): 1-7.

    5. [5]

      孙闽红, 丁辰伟, 张树奇, 鲁加战, 邵鹏飞. 基于统计相关差异的多基地雷达拖引欺骗干扰识别. 电子与信息学报, 2020, 42(0): 1-7.

    6. [6]

      高巍, 蒋刚毅, 郁梅, 骆挺. 基于熵编码的立体视频加密与信息隐藏算法. 电子与信息学报, 2020, 41(0): 1-8.

    7. [7]

      孙子文, 叶乔. 利用震荡环频率特性提取多位可靠信息熵的物理不可克隆函数研究. 电子与信息学报, 2020, 42(0): 1-8.

    8. [8]

      雷大江, 张策, 李智星, 吴渝. 基于多流融合生成对抗网络的遥感图像融合方法. 电子与信息学报, 2020, 41(0): 1-8.

    9. [9]

      归伟夏, 陆倩, 苏美力. 关于系统级故障诊断的烟花-反向传播神经网络算法. 电子与信息学报, 2020, 42(5): 1102-1109.

    10. [10]

      杨书新, 梁文, 朱凯丽. 基于三级邻居的复杂网络节点影响力度量方法. 电子与信息学报, 2020, 42(5): 1140-1148.

    11. [11]

      蒋瀚, 刘怡然, 宋祥福, 王皓, 郑志华, 徐秋亮. 隐私保护机器学习的密码学方法. 电子与信息学报, 2020, 42(5): 1068-1078.

    12. [12]

      陈勇, 刘曦, 刘焕淋. 基于特征通道和空间联合注意机制的遮挡行人检测方法. 电子与信息学报, 2020, 42(6): 1486-1493.

    13. [13]

      张天骐, 范聪聪, 葛宛营, 张天. 基于ICA和特征提取的MIMO信号调制识别算法. 电子与信息学报, 2020, 41(0): 1-8.

    14. [14]

      孙军伟, 李智, 王延峰. 基于DNA链置换的三级联组合分子逻辑电路设计. 电子与信息学报, 2020, 42(6): 1401-1409.

    15. [15]

      刘坤, 吴建新, 甄杰, 王彤. 基于阵列天线和稀疏贝叶斯学习的室内定位方法. 电子与信息学报, 2020, 42(5): 1158-1164.

    16. [16]

      周牧, 李垚鲆, 谢良波, 蒲巧林, 田增山. 基于多核最大均值差异迁移学习的WLAN室内入侵检测方法. 电子与信息学报, 2020, 42(5): 1149-1157.

    17. [17]

      宋晨, 周良将, 吴一戎, 丁赤飚. 基于时频集中度指标的多旋翼无人机微动特征参数估计方法. 电子与信息学报, 2020, 42(0): 1-8.

    18. [18]

      陈前斌, 管令进, 李子煜, 王兆堃, 杨恒, 唐伦. 基于深度强化学习的异构云无线接入网自适应无线资源分配算法. 电子与信息学报, 2020, 42(6): 1468-1477.

  • 图 1  融合极限学习机的网络结构

    图 2  CF-ELM中循环次数对Caltech 101与MSRC数据库上正确率的影响曲线

    图 3  Caltech 101数据库上2种组合的正确率曲面图

    图 4  MSRC数据库上3种组合的正确率曲面图

    图 5  F-ELM与CF-ELM对两种数据库中具有嘈杂背景图像的正确率

    图 6  CF-ELM中循环次数对15 Scene数据库上正确率的影响曲线

    图 7  15 Scene数据库上3种组合的正确率曲面图

    图 8  F-ELM与CF-ELM对15 Scene的正确率

    表 1  Caltech 101与MSRC的正确率与训练时间

    组合方法SVMKELMF-ELMCF-ELM
    组合1组合2组合3组合1组合2组合3组合1组合2组合3组合1组合2组合3
    Caltech 101 (%)72.0477.9379.4378.8480.3180.1980.5983.65
    训练时间(s)862.16540.30860.37538.56861.76539.77902.13569.80
    MSRC (%)90.2688.5794.1391.4290.4291.7491.7490.5893.4990.9592.0695.76
    训练时间(s)79.5917.1117.1179.5117.0117.0179.5417.0417.0480.6818.2018.20
    下载: 导出CSV

    表 2  Caltech 101的结果比较

    方法SPM[9]LLC[17]文献[18]SDCD+PHOW[14]文献[19]ScSPM+DVM[20]文献[12]文献[8]文献[21]文献[16]CF-ELM-组合2
    字典维数20020481000102440010242048600400
    正确率(%)64.6073.4474.3075.3776.0077.7077.9378.0079.7083.9083.65
    下载: 导出CSV

    表 3  15 Scene的正确率与训练时间

    组合方法SVMKELMF-ELMCF-ELM
    组合1组合2组合4组合1组合2组合4组合1组合2组合4组合1组合2组合4
    15 Scene(%)74.3477.9286.4672.0080.7383.5377.2082.0684.3379.0083.0687.76
    训练时间(s)347.44106.25106.25347.12106.11106.11347.37106.41106.41367.50120.10120.10
    下载: 导出CSV

    表 4  15 Scene的结果比较

    方法SPM[9]LLC[17]SLC[22]LSVQ[22]文献[23]LGF[15]文献[12]MFS[24]文献[16]CF-ELM-组合4
    字典维数2001000102410241024400600400
    正确率(%)81.1081.7381.8983.0885.7085.8086.4687.1090.1087.76
    下载: 导出CSV
  • 加载中
图(8)表(4)
计量
  • PDF下载量:  48
  • 文章访问数:  883
  • HTML全文浏览量:  495
文章相关
  • 通讯作者:  李雅倩, yaqianli@126.com
  • 收稿日期:  2019-03-27
  • 录用日期:  2019-09-03
  • 网络出版日期:  2019-09-12
  • 刊出日期:  2020-02-01
通讯作者: 陈斌, bchen63@163.com
  • 1. 

    沈阳化工大学材料科学与工程学院 沈阳 110142

  1. 本站搜索
  2. 百度学术搜索
  3. 万方数据库搜索
  4. CNKI搜索

/

返回文章