高级搜索

基于低秩表示的鲁棒判别特征子空间学习模型

李骜 刘鑫 陈德运 张英涛 孙广路

引用本文: 李骜, 刘鑫, 陈德运, 张英涛, 孙广路. 基于低秩表示的鲁棒判别特征子空间学习模型[J]. 电子与信息学报, doi: 10.11999/JEIT190164 shu
Citation:  Ao LI, Xin LIU, Deyun CHEN, Yingtao ZHANG, Guanglu SUN. Robust Discriminative Feature Subspace Learning Based on Low Rank Representation[J]. Journal of Electronics and Information Technology, doi: 10.11999/JEIT190164 shu

基于低秩表示的鲁棒判别特征子空间学习模型

    作者简介: 李骜: 男,1986年生,博士,副教授,研究方向为计算机视觉及其模式识别、机器学习;
    刘鑫: 男,1993年生,硕士生,研究方向为机器学习、模式识别;
    陈德运: 男,1962年生,博士,教授,博士生导师,研究方向为探测与成像技术、模式识别;
    张英涛: 女,1975年生,博士,副教授,研究方向为人工智能与信息处理;
    孙广路: 男,1979年生,博士,教授,博士生导师,研究方向为机器学习、网络安全
    通讯作者: 李骜,dargonboy@126.com
  • 基金项目: 国家自然科学基金 (61501147),黑龙江省青年创新人才计划(UNPYSCT-2018203),黑龙江省自然科学基金优秀青年基金(YQ2019F011),黑龙江省高等学校基本科研业务专项 (LGYC2018JQ013),哈尔滨市应用技术研究与开发项目(2017RALX006)

摘要: 特征子空间学习是图像识别及分类任务的关键技术之一,传统的特征子空间学习模型面临两个主要的问题。一方面是如何使样本在投影到特征空间后有效地保持其局部结构和判别性。另一方面,当样本含噪时传统学习模型所发生的失效问题。针对上述两个问题,该文提出一种基于低秩表示的判别特征子空间学习模型,该模型的主要贡献包括:通过低秩表示探究样本的局部结构,并利用表示系数作为样本在投影空间的相似性约束,使投影子空间能够更好的保持样本的局部近邻关系;为提高模型的抗噪能力,构造了一种利用低秩重构样本的判别特征学习约束项,同时的增强模型的判别性和鲁棒性;设计了一种基于交替优化技术的迭代数值求解方案来保证算法的收敛性。该文在多个视觉数据集上进行分类任务的对比实验,实验结果表明所提算法在分类准确度和鲁棒性方面均优于传统特征学习方法。

English

    1. [1]

      张涛, 唐振民. 一种基于非负低秩稀疏图的半监督学习改进算法[J]. 电子与信息学报, 2017, 39(4): 915–921. doi: 10.11999/JEIT160559
      ZHANG Tao and TANG Zhenmin. Improved algorithm based on non-negative low rank and sparse graph for semi-supervised learning[J]. Journal of Electronics &Information Technology, 2017, 39(4): 915–921. doi: 10.11999/JEIT160559

    2. [2]

      成宝芝, 赵春晖, 张丽丽. 子空间稀疏表示高光谱异常检测新算法[J]. 哈尔滨工程大学学报, 2017, 38(4): 640–645. doi: 10.11990/jheu.201604006
      CHENG Baozhi, ZHAO Chunhui, and ZHANG Lili. An anomaly detection algorithm for hyperspectral images using subspace sparse representation[J]. Journal of Harbin Engineering University, 2017, 38(4): 640–645. doi: 10.11990/jheu.201604006

    3. [3]

      BELHUMEUR P N, HESPANHA J P, and KRIEGMAN D J. Eigenfaces vs. fisherfaces: Recognition using class specific linear projection[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 1997, 19(7): 711–720. doi: 10.1109/34.598228

    4. [4]

      CAI Deng, HE Xiaofei, ZHOU Kun, et al. Locality sensitive discriminant analysis[C]. Proceedings of the 20th International Joint Conference on Artifical Intelligence, Hyderabad, India, 2007: 708–713.

    5. [5]

      CAI Sijia, ZHANG Lei, ZUO Wangmeng, et al. A probabilistic collaborative representation based approach for pattern classification[C]. Proceedings of 2016 IEEE Conference on Computer Vision and Pattern Recognition, Las Vegas, USA, 2016: 2950–2959.

    6. [6]

      REN Jiahuan, ZHANG Zhao, LI Sheng, et al. Robust projective low-rank and sparse representation by robust dictionary learning[C]. Proceedings of the 24th International Conference on Pattern Recognition, Beijing, China, 2018: 1851–1856.

    7. [7]

      RAZZAGHI P, RAZZAGHI P, and ABBASI K. Transfer subspace learning via low-rank and discriminative reconstruction matrix[J]. Knowledge-Based Systems, 2019, 163: 174–185. doi: 10.1016/j.knosys.2018.08.026

    8. [8]

      KANG Zhao, PENG Chong, and CHENG Qiang. Kernel-driven similarity learning[J]. Neurocomputing, 2017, 267: 210–219. doi: 10.1016/j.neucom.2017.06.005

    9. [9]

      LI Sheng, SHAO Ming, and FU Yun. Multi-view low-rank analysis with applications to outlier detection[J]. ACM Transactions on Knowledge Discovery from Data, 2018, 12(3): 32. doi: 10.1145/3168363

    10. [10]

      LIU Guangcan and YAN Shuicheng. Latent low-rank representation for subspace segmentation and feature extraction[C]. Proceedings of 2011 IEEE International Conference on Computer Vision, Barcelona, Spain, 2011: 1615–1622.

    11. [11]

      FANG Xiaozhao, HAN Na, WU Jigang, et al. Approximate low-rank projection learning for feature extraction[J]. IEEE Transactions on Neural Networks and Learning Systems, 2018, 29(11): 5228–5241. doi: 10.1109/TNNLS.2018.2796133

    12. [12]

      MA Long, WANG Chunheng, XIAO Baihua, et al. Sparse representation for face recognition based on discriminative low-rank dictionary learning[C]. Proceedings of 2012 IEEE Conference on Computer Vision and Pattern Recognition, Providence, USA, 2012: 2586–2593.

    13. [13]

      LI Ao, LIU Xin, WANG Yanbing, et al. Subspace structural constraint-based discriminative feature learning via nonnegative low rank representation[J]. PLoS One, 2019, 14(5): e0215450. doi: 10.1371/journal.pone.0215450

    14. [14]

      PENG Chong, KANG Zhao, and CHENG Qiang. Subspace clustering via variance regularized ridge regression[C]. Proceedings of 2017 IEEE Conference on Computer Vision and Pattern Recognition, Honolulu, USA, 2017: 21–26.

    15. [15]

      ZHANG He and PATEL V M. Convolutional sparse and low-rank coding-based image decomposition[J]. IEEE Transactions on Image Processing, 2018, 27(5): 2121–2133. doi: 10.1109/TIP.2017.2786469

    16. [16]

      LIN Zhouchen, CHEN Minming, and MA Yi. The augmented Lagrange multiplier method for exact recovery of corrupted low-rank matrices[J]. arXiv: 1009.5055, 2010. (请核对文献类型)

    17. [17]

      WEN Zaiwen and YIN Wotao. A feasible method for optimization with orthogonality constraints[J]. Mathematical Programming, 2013, 142(1/2): 397–434. doi: 10.1007/s10107-012-0584-1

    18. [18]

      CANDÈS E J, LI Xiaodong, MA Yi, et al. Robust principal component analysis?[J]. Journal of the ACM (JACM) , 2011, 58(3): 11–49. doi: 10.1145/1970392.1970395

    19. [19]

      YANG Junfeng and ZHANG Yin. Alternating direction algorithms for $\ell_1$ -problems in compressive sensing[J]. SIAM Journal on Scientific Computing, 2011, 33(1): 250–278. doi: 10.1137/090777761

    20. [20]

      YANG Junfeng, YIN Wotao, ZHANG Yin, et al. A fast algorithm for edge-preserving variational multichannel image restoration[J]. SIAM Journal on Imaging Sciences, 2009, 2(2): 569–592. doi: 10.1137/080730421

    1. [1]

      张涛, 唐振民, 吕建勇. 一种基于低秩表示的子空间聚类改进算法. 电子与信息学报,

    2. [2]

      嵇朋朋, 闫胜业, 李林, 刘青山. 基于区域非均匀空间采样特征的图像分类方法. 电子与信息学报,

    3. [3]

      张涛, 唐振民. 一种基于非负低秩稀疏图的半监督学习改进算法. 电子与信息学报,

    4. [4]

      宋相法, 焦李成. 基于稀疏编码和集成学习的多示例多标记图像分类方法. 电子与信息学报,

    5. [5]

      孙志军, 薛磊, 许阳明. 基于深度学习的边际Fisher分析特征提取算法. 电子与信息学报,

    6. [6]

      韩勋, 杜兰, 刘宏伟. 基于窄带雷达组网的空间锥体目标特征提取方法. 电子与信息学报,

    7. [7]

      王肖锋, 孙明月, 葛为民. 基于图像协方差无关的增量特征提取方法研究. 电子与信息学报,

    8. [8]

      娄军, 金添, 宋千, 周智敏. 高分辨率SAR图像散射中心特征提取. 电子与信息学报,

    9. [9]

      廉蔺, 李国辉, 王海涛, 田昊, 徐树奎. 基于MSER的红外与可见光图像关联特征提取算法. 电子与信息学报,

    10. [10]

      李祖贺, 樊养余, 王凤琴. YUV空间中基于稀疏自动编码器的无监督特征学习. 电子与信息学报,

    11. [11]

      赵越, 陈之纯, 纠博, 张磊, 刘宏伟, 李真芳. 一种基于时频分析的窄带雷达飞机目标分类特征提取方法. 电子与信息学报,

    12. [12]

      贾旭, 薛定宇, 崔建江, 刘晶. 基于Contourlet子带能量特征多HMM融合的静脉识别. 电子与信息学报,

    13. [13]

      郑建炜, 王万良, 姚信威. 基于子块优化及全局整合的局部判别投影法. 电子与信息学报,

    14. [14]

      郭继昌, 张帆, 王楠. 基于Fisher约束和字典对的图像分类. 电子与信息学报,

    15. [15]

      肖文华, 包卫东, 陈立栋, 王炜, 张茂军. 一种用于图像分类的语义增强线性编码方法. 电子与信息学报,

    16. [16]

      赵力文, 周晓光, 蒋咏梅, 匡纲要. 一种基于Freeman分解与散射熵的极化SAR图像迭代分类方法. 电子与信息学报,

    17. [17]

      赵春晖, 王莹, MasahideKANEKO. 一种基于词袋模型的图像优化分类方法. 电子与信息学报,

    18. [18]

      贾世杰, 孔祥维. 一种新的直方图核函数及在图像分类中的应用. 电子与信息学报,

    19. [19]

      樊养余, 李祖贺, 王凤琴, 马江涛. 基于跨领域卷积稀疏自动编码器的抽象图像情绪性分类. 电子与信息学报,

    20. [20]

      范学满, 胡生亮, 贺静波. 对海雷达目标识别中全极化HRRP的特征提取与选择. 电子与信息学报,

  • 图 1  基于样本局部近邻关系的特征空间投影效果示意图

    图 2  低秩表示约束的鲁棒特征学习模型的效果示意图

    图 3  不同比例的随机脉冲噪声下的识别率曲线

    图 4  不同比例的随机条纹干扰下的识别率曲线

    图 5  不同训练样本数量下的识别率曲线

    图 6  参数取值与分类准确率的变化关系曲线

    图 7  目标函数值随迭代次数的收敛曲线

     算法1:综合目标函数的数值求解方案
     输入: 训练集X,类别标签Y, ${\lambda _1}$, ${\lambda _2}$, $\eta $, ${{Z}} = {{G}} = {{R}} = 0$,
     ${{E}} = 0$, ${{{Y}}_{\rm{1}}} = {{{Y}}_{\rm{2}}} = {{{Y}}_{\rm{3}}} = 0$, $\mu = 0.6$, ${\mu _{\max }} = {10^{10}}$, $\rho = 1.1$。
     输出: ${{P}}$
     While not convergence do
     1. 使用式(5)—(9)进行更新${{{P}}^{k + 1}}$, ${{{G}}^{k + 1}}$, ${{{R}}^{k + 1}}$, ${{{Z}}^{k + 1}}$, ${{{E}}^{k + 1}}$;
     2. 更新拉格朗日乘子及参数$\mu $:
      ${{{Y}}_1}^{k + 1} = {{{Y}}_1}^k + \mu \left( {{{X}} - {{X}}{{{Z}}^{k + 1}} - {{{E}}^{k + 1}}} \right)$;
      ${{{Y}}_2}^{k + 1} = {{{Y}}_2}^k + \mu \left( {{{{Z}}^{k + 1}} - {{{G}}^{k + 1}}} \right)$;
      ${{{Y}}_3}^{k + 1} = {{{Y}}_3}^k + \mu \left( {{{{Z}}^{k + 1}} - {{{R}}^{k + 1}}} \right)$;
      $\mu = \min \left( {{\mu _{\max }},\rho \mu } \right)$;
     end while
    下载: 导出CSV
  • 加载中
图(7)表(1)
计量
  • PDF下载量:  3
  • 文章访问数:  98
  • HTML全文浏览量:  72
文章相关
  • 通讯作者:  李骜, dargonboy@126.com
  • 收稿日期:  2019-03-20
  • 录用日期:  2019-09-30
  • 网络出版日期:  2020-01-20
通讯作者: 陈斌, bchen63@163.com
  • 1. 

    沈阳化工大学材料科学与工程学院 沈阳 110142

  1. 本站搜索
  2. 百度学术搜索
  3. 万方数据库搜索
  4. CNKI搜索

/

返回文章