高级搜索

基于低秩表示的鲁棒判别特征子空间学习模型

李骜 刘鑫 陈德运 张英涛 孙广路

引用本文: 李骜, 刘鑫, 陈德运, 张英涛, 孙广路. 基于低秩表示的鲁棒判别特征子空间学习模型[J]. 电子与信息学报, 2020, 42(5): 1223-1230. doi: 10.11999/JEIT190164 shu
Citation:  Ao LI, Xin LIU, Deyun CHEN, Yingtao ZHANG, Guanglu SUN. Robust Discriminative Feature Subspace Learning Based on Low Rank Representation[J]. Journal of Electronics and Information Technology, 2020, 42(5): 1223-1230. doi: 10.11999/JEIT190164 shu

基于低秩表示的鲁棒判别特征子空间学习模型

    作者简介: 李骜: 男,1986年生,博士,副教授,研究方向为计算机视觉及其模式识别、机器学习;
    刘鑫: 男,1993年生,硕士生,研究方向为机器学习、模式识别;
    陈德运: 男,1962年生,博士,教授,博士生导师,研究方向为探测与成像技术、模式识别;
    张英涛: 女,1975年生,博士,副教授,研究方向为人工智能与信息处理;
    孙广路: 男,1979年生,博士,教授,博士生导师,研究方向为机器学习、网络安全
    通讯作者: 李骜,dargonboy@126.com
  • 基金项目: 国家自然科学基金 (61501147),黑龙江省青年创新人才计划(UNPYSCT-2018203),黑龙江省自然科学基金优秀青年基金(YQ2019F011),黑龙江省高等学校基本科研业务专项 (LGYC2018JQ013),哈尔滨市应用技术研究与开发项目(2017RALX006)

摘要: 特征子空间学习是图像识别及分类任务的关键技术之一,传统的特征子空间学习模型面临两个主要的问题。一方面是如何使样本在投影到特征空间后有效地保持其局部结构和判别性。另一方面是当样本含噪时传统学习模型所发生的失效问题。针对上述两个问题,该文提出一种基于低秩表示(LRR)的判别特征子空间学习模型,该模型的主要贡献包括:通过低秩表示探究样本的局部结构,并利用表示系数作为样本在投影空间的相似性约束,使投影子空间能够更好地保持样本的局部近邻关系;为提高模型的抗噪能力,构造了一种利用低秩重构样本的判别特征学习约束项,同时增强模型的判别性和鲁棒性;设计了一种基于交替优化技术的迭代数值求解方案来保证算法的收敛性。该文在多个视觉数据集上进行分类任务的对比实验,实验结果表明所提算法在分类准确度和鲁棒性方面均优于传统特征学习方法。

English

    1. [1]

      张涛, 唐振民. 一种基于非负低秩稀疏图的半监督学习改进算法[J]. 电子与信息学报, 2017, 39(4): 915–921. doi: 10.11999/JEIT160559
      ZHANG Tao and TANG Zhenmin. Improved algorithm based on non-negative low rank and sparse graph for semi-supervised learning[J]. Journal of Electronics &Information Technology, 2017, 39(4): 915–921. doi: 10.11999/JEIT160559

    2. [2]

      成宝芝, 赵春晖, 张丽丽. 子空间稀疏表示高光谱异常检测新算法[J]. 哈尔滨工程大学学报, 2017, 38(4): 640–645. doi: 10.11990/jheu.201604006
      CHENG Baozhi, ZHAO Chunhui, and ZHANG Lili. An anomaly detection algorithm for hyperspectral images using subspace sparse representation[J]. Journal of Harbin Engineering University, 2017, 38(4): 640–645. doi: 10.11990/jheu.201604006

    3. [3]

      BELHUMEUR P N, HESPANHA J P, and KRIEGMAN D J. Eigenfaces vs. fisherfaces: Recognition using class specific linear projection[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 1997, 19(7): 711–720. doi: 10.1109/34.598228

    4. [4]

      CAI Deng, HE Xiaofei, ZHOU Kun, et al. Locality sensitive discriminant analysis[C]. The 20th International Joint Conference on Artifical Intelligence, Hyderabad, India, 2007: 708–713.

    5. [5]

      CAI Sijia, ZHANG Lei, ZUO Wangmeng, et al. A probabilistic collaborative representation based approach for pattern classification[C]. 2016 IEEE Conference on Computer Vision and Pattern Recognition, Las Vegas, USA, 2016: 2950–2959.

    6. [6]

      REN Jiahuan, ZHANG Zhao, LI Sheng, et al. Robust projective low-rank and sparse representation by robust dictionary learning[C]. The 24th International Conference on Pattern Recognition, Beijing, China, 2018: 1851–1856.

    7. [7]

      RAZZAGHI P, RAZZAGHI P, and ABBASI K. Transfer subspace learning via low-rank and discriminative reconstruction matrix[J]. Knowledge-Based Systems, 2019, 163: 174–185. doi: 10.1016/j.knosys.2018.08.026

    8. [8]

      KANG Zhao, PENG Chong, and CHENG Qiang. Kernel-driven similarity learning[J]. Neurocomputing, 2017, 267: 210–219. doi: 10.1016/j.neucom.2017.06.005

    9. [9]

      LI Sheng, SHAO Ming, and FU Yun. Multi-view low-rank analysis with applications to outlier detection[J]. ACM Transactions on Knowledge Discovery from Data, 2018, 12(3): 32–53. doi: 10.1145/3168363

    10. [10]

      LIU Guangcan and YAN Shuicheng. Latent low-rank representation for subspace segmentation and feature extraction[C]. 2011 IEEE International Conference on Computer Vision, Barcelona, Spain, 2011: 1615–1622.

    11. [11]

      FANG Xiaozhao, HAN Na, WU Jigang, et al. Approximate low-rank projection learning for feature extraction[J]. IEEE Transactions on Neural Networks and Learning Systems, 2018, 29(11): 5228–5241. doi: 10.1109/TNNLS.2018.2796133

    12. [12]

      MA Long, WANG Chunheng, XIAO Baihua, et al. Sparse representation for face recognition based on discriminative low-rank dictionary learning[C]. 2012 IEEE Conference on Computer Vision and Pattern Recognition, Providence, USA, 2012: 2586–2593.

    13. [13]

      LI Ao, LIU Xin, WANG Yanbing, et al. Subspace structural constraint-based discriminative feature learning via nonnegative low rank representation[J]. PLoS One, 2019, 14(5): e0215450. doi: 10.1371/journal.pone.0215450

    14. [14]

      PENG Chong, KANG Zhao, and CHENG Qiang. Subspace clustering via variance regularized ridge regression[C]. 2017 IEEE Conference on Computer Vision and Pattern Recognition, Honolulu, USA, 2017: 21–26.

    15. [15]

      ZHANG He and PATEL V M. Convolutional sparse and low-rank coding-based image decomposition[J]. IEEE Transactions on Image Processing, 2018, 27(5): 2121–2133. doi: 10.1109/TIP.2017.2786469

    16. [16]

      LIN Zhouchen, CHEN Minming, and MA Yi. The augmented Lagrange multiplier method for exact recovery of corrupted low-rank matrices[J]. 2010, arXiv: 1009.5055.

    17. [17]

      WEN Zaiwen and YIN Wotao. A feasible method for optimization with orthogonality constraints[J]. Mathematical Programming, 2013, 142(1/2): 397–434. doi: 10.1007/s10107-012-0584-1

    18. [18]

      CANDÈS E J, LI Xiaodong, MA Yi, et al. Robust principal component analysis?[J]. Journal of the ACM (JACM) , 2011, 58(3): 11–49. doi: 10.1145/1970392.1970395

    19. [19]

      YANG Junfeng and ZHANG Yin. Alternating direction algorithms for $\ell_1$ -problems in compressive sensing[J]. SIAM Journal on Scientific Computing, 2011, 33(1): 250–278. doi: 10.1137/090777761

    20. [20]

      YANG Junfeng, YIN Wotao, ZHANG Yin, et al. A fast algorithm for edge-preserving variational multichannel image restoration[J]. SIAM Journal on Imaging Sciences, 2009, 2(2): 569–592. doi: 10.1137/080730421

    1. [1]

      张天骐, 范聪聪, 葛宛营, 张天. 基于ICA和特征提取的MIMO信号调制识别算法. 电子与信息学报, 2020, 41(0): 1-8.

    2. [2]

      王一宾, 裴根生, 程玉胜. 基于标记密度分类间隔面的组类属属性学习. 电子与信息学报, 2020, 42(5): 1179-1187.

    3. [3]

      陈勇, 刘曦, 刘焕淋. 基于特征通道和空间联合注意机制的遮挡行人检测方法. 电子与信息学报, 2020, 42(6): 1486-1493.

    4. [4]

      付晓薇, 杨雪飞, 陈芳, 李曦. 一种基于深度学习的自适应医学超声图像去斑方法. 电子与信息学报, 2020, 42(7): 1782-1789.

    5. [5]

      张斌, 吴浩明. 一种面向连接的快速多维包分类算法. 电子与信息学报, 2020, 42(6): 1526-1533.

    6. [6]

      兰红, 方治屿. 零样本图像识别. 电子与信息学报, 2020, 42(5): 1188-1200.

    7. [7]

      项厚宏, 陈伯孝, 杨婷, 杨明磊. 基于多帧相位增强的米波雷达低仰角目标DOA估计方法. 电子与信息学报, 2020, 42(7): 1581-1589.

    8. [8]

      李根, 马彦恒, 侯建强, 徐公国. 基于子孔径Keystone变换的曲线轨迹大斜视SAR回波模拟. 电子与信息学报, 2020, 41(0): 1-8.

    9. [9]

      刘政怡, 刘俊雷, 赵鹏. 基于样本选择的RGBD图像协同显著目标检测. 电子与信息学报, 2020, 42(0): 1-8.

    10. [10]

      赵娅, 郭嘉慧, 李盼池. 一种量子图像的中值滤波方案. 电子与信息学报, 2020, 42(0): 1-8.

    11. [11]

      孙子文, 叶乔. 利用震荡环频率特性提取多位可靠信息熵的物理不可克隆函数研究. 电子与信息学报, 2020, 42(0): 1-8.

    12. [12]

      徐瑨, 吴慧慈, 陶小峰. 5G网络空间安全对抗博弈. 电子与信息学报, 2020, 41(0): 1-11.

    13. [13]

      黄俊生, 苏洪涛. 二维相控阵-MIMO雷达联合发射子阵划分和波束形成设计方法. 电子与信息学报, 2020, 42(7): 1557-1565.

    14. [14]

      杨静, 李金科. 带有特征感知的D2D内容缓存策略. 电子与信息学报, 2020, 42(0): 1-7.

    15. [15]

      张惊雷, 厚雅伟. 基于改进循环生成式对抗网络的图像风格迁移. 电子与信息学报, 2020, 42(5): 1216-1222.

    16. [16]

      牛莹, 张勋才. 基于变步长约瑟夫遍历和DNA动态编码的图像加密算法. 电子与信息学报, 2020, 42(6): 1383-1391.

    17. [17]

      雷大江, 张策, 李智星, 吴渝. 基于多流融合生成对抗网络的遥感图像融合方法. 电子与信息学报, 2020, 41(0): 1-8.

    18. [18]

      武迎春, 王玉梅, 王安红, 赵贤凌. 基于边缘增强引导滤波的光场全聚焦图像融合. 电子与信息学报, 2020, 41(0): 1-9.

    19. [19]

      易诗, 吴志娟, 朱竞铭, 李欣荣, 袁学松. 基于多尺度生成对抗网络的运动散焦红外图像复原. 电子与信息学报, 2020, 42(7): 1766-1773.

    20. [20]

      郭全民, 柴改霞, 李翰山. 夜视抗晕光融合图像自适应分区质量评价. 电子与信息学报, 2020, 42(7): 1750-1757.

  • 图 1  基于样本局部近邻关系的特征空间投影效果示意图

    图 2  低秩表示约束的鲁棒特征学习模型的效果示意图

    图 3  不同比例的随机脉冲噪声下的识别率曲线

    图 4  不同比例的随机条纹干扰下的识别率曲线

    图 5  不同训练样本数量下的识别率曲线

    图 6  参数取值与分类准确率的变化关系曲线

    图 7  目标函数值随迭代次数的收敛曲线

    算法1:综合目标函数的数值求解方案
     输入: 训练集X,类别标签Y, ${\lambda _1}$, ${\lambda _2}$, $\eta $, ${{Z}} = {{G}} = {{R}} = 0$,
     ${{E}} = 0$, ${{{Y}}_{\rm{1}}} = {{{Y}}_{\rm{2}}} = {{{Y}}_{\rm{3}}} = 0$, $\mu = 0.6$, ${\mu _{\max }} = {10^{10}}$, $\rho = 1.1$。
     输出: ${{P}}$
     While not convergence do
     1. 使用式(5)—(9)进行更新${{{P}}^{k + 1}}$, ${{{G}}^{k + 1}}$, ${{{R}}^{k + 1}}$, ${{{Z}}^{k + 1}}$, ${{{E}}^{k + 1}}$;
     2. 更新拉格朗日乘子及参数$\mu $:
      ${{{Y}}_1}^{k + 1} = {{{Y}}_1}^k + \mu \left( {{{X}} - {{X}}{{{Z}}^{k + 1}} - {{{E}}^{k + 1}}} \right)$;
      ${{{Y}}_2}^{k + 1} = {{{Y}}_2}^k + \mu \left( {{{{Z}}^{k + 1}} - {{{G}}^{k + 1}}} \right)$;
      ${{{Y}}_3}^{k + 1} = {{{Y}}_3}^k + \mu \left( {{{{Z}}^{k + 1}} - {{{R}}^{k + 1}}} \right)$;
      $\mu = \min \left( {{\mu _{\max }},\rho \mu } \right)$;
     end while
    下载: 导出CSV
  • 加载中
图(7)表(1)
计量
  • PDF下载量:  32
  • 文章访问数:  1488
  • HTML全文浏览量:  1089
文章相关
  • 通讯作者:  李骜, dargonboy@126.com
  • 收稿日期:  2019-03-20
  • 录用日期:  2019-09-30
  • 网络出版日期:  2020-01-20
  • 刊出日期:  2020-05-01
通讯作者: 陈斌, bchen63@163.com
  • 1. 

    沈阳化工大学材料科学与工程学院 沈阳 110142

  1. 本站搜索
  2. 百度学术搜索
  3. 万方数据库搜索
  4. CNKI搜索

/

返回文章