高级搜索

基于模型重建的深度卷积网络权值可视化方法

刘嘉铭 邢孟道 符吉祥 徐丹

引用本文: 刘嘉铭, 邢孟道, 符吉祥, 徐丹. 基于模型重建的深度卷积网络权值可视化方法[J]. 电子与信息学报, doi: 10.11999/JEIT180916 shu
Citation:  Jiaming LIU, Mengdao XING, Jixiang FU, Dan XU. A Method to Visualize Deep Convolutional Networks Based on Model Reconstruction[J]. Journal of Electronics and Information Technology, doi: 10.11999/JEIT180916 shu

基于模型重建的深度卷积网络权值可视化方法

    作者简介: 刘嘉铭: 男,1994年生,博士,研究方向为目标识别;
    邢孟道: 男,1975年生,教授,研究方向为SAR/ISAR成像、动目标检测等;
    符吉祥: 男,1992年生,博士,研究方向为ISAR成像;
    徐丹: 女,1992年生,博士,研究方向为电磁特征提取;
    通讯作者: 刘嘉铭, liujiaming@stu.xidian.edu.cn
  • 基金项目: 国防科技卓越青年人才基金(2017-JCJQ-ZQ-061)

摘要: 针对深度卷积网络原理分析的问题,该文提出一种基于模型重建的权值可视化方法。首先利用原有的神经网络对测试样本进行前向传播,以获取重建模型所需要的先验信息;然后对原本网络中的部分结构进行修改,使其便于后续的参数计算;再利用正交向量组,逐一地计算重建模型的参数;最后将计算所得的参数按照特定的顺序进行重排列,实现权值的可视化。实验结果表明,对于满足一定条件的深度卷积网络,利用该文所提方法重建的模型在分类过程的前向传播运算中与原模型完全等效,并且可以明显观察到重建后模型的权值所具有的特征,从而分析神经网络实现图像分类的原理。

English

    1. [1]

      FARAHBAKHSH E, KOZEGAR E, and SORYANI M. Improving Persian digit recognition by combining data augmentation and AlexNet[C]. Iranian Conference on Machine Vision and Image Processing, Isfahan, Iran, 2017: 265–270.

    2. [2]

      HOU Saihui, LIU Xu, and WANG Zilei. DualNet: Learn complementary features for image recognition[C]. Proceedings of 2017 IEEE International Conference on Computer Vision, Venice, Italy, 2017: 502–510.

    3. [3]

      SZEGEDY C, LIU Wei, JIA Yangqing, et al.. Going deeper with convolutions[C]. Proceedings of 2015 IEEE Conference on Computer Vision and Pattern Recognition, Boston, USA, 2015: 1–9.

    4. [4]

      HE Kaiming, ZHANG Xiangyu, REN Shaoqing, et al.. Deep residual learning for image recognition[C]. Proceedings of 2016 IEEE Conference on Computer Vision and Pattern Recognition, Las Vegas, USA, 2016: 770–778.

    5. [5]

      王俊, 郑彤, 雷鹏, 等. 深度学习在雷达中的研究综述[J]. 雷达学报, 2018, 7(4): 395–411. doi: 10.12000/JR18040
      WANG Jun, ZHENG Tong, LEI Peng, et al. Study on deep learning in radar[J]. Journal of Radars, 2018, 7(4): 395–411. doi: 10.12000/JR18040

    6. [6]

      PUNJABI A and KATSAGGELOS A K. Visualization of feature evolution during convolutional neural network training[C]. Proceedings of the 201725th European Signal Processing Conference, Kos, Greece, 2017: 311–315.

    7. [7]

      ZEILER M D and FERGUS R. Visualizing and understanding convolutional networks[C]. Proceedings of the 13th European Conference on Computer Vision, Zurich, Switzerland, 2014: 818–833.

    8. [8]

      ZHOU Bolei, KHOSLA A, LAPEDRIZA A, et al.. Learning deep features for discriminative localization[C]. Proceedings of 2016 IEEE Conference on Computer Vision and Pattern Recognition, Las Vegas, USA, 2016: 2921–2929.

    9. [9]

      SUZUKI S and SHOUNO H. A study on visual interpretation of network in network[C]. Proceedings of 2017 International Joint Conference on Neural Networks, Anchorage, USA, 2017: 903–910.

    10. [10]

      GAL Y and GHAHRAMANI Z. Dropout as a Bayesian approximation: Representing model uncertainty in deep learning[C]. Proceedings of the 33rd International Conference on Machine Learning, New York, USA, 2016: 1050–1059.

    11. [11]

      NAIR V and HINTON G E. Rectified linear units improve restricted Boltzmann machines[C]. Proceedings of the 27th International Conference on International Conference on Machine Learning, Haifa, Israel, 2010: 807–814.

    12. [12]

      PEHLEVAN C and CHKLOVSKII D B. A normative theory of adaptive dimensionality reduction in neural networks[C]. Proceedings of the 28th International Conference on Neural Information Processing Systems, Montreal, Canada, 2015: 2269–2277.

    13. [13]

      IOFFE S and SZEGEDY C. Batch normalization: Accelerating deep network training by reducing internal covariate shift[C]. Proceedings of the 32nd International Conference on International Conference on Machine Learning, Lille, France, 2015: 448–456.

    14. [14]

      王思雨, 高鑫, 孙皓, 等. 基于卷积神经网络的高分辨率SAR图像飞机目标检测方法[J]. 雷达学报, 2017, 6(2): 195–203. doi: 10.12000/JR17009
      WANG Siyu, GAO Xin, SUN Hao, et al. An aircraft detection method based on convolutional neural networks in high-resolution SAR images[J]. Journal of Radars, 2017, 6(2): 195–203. doi: 10.12000/JR17009

    15. [15]

      NOH H, HONG S, and HAN B. Learning deconvolution network for semantic segmentation[C]. Proceedings of 2015 IEEE International Conference on Computer Vision, Santiago, Chile, 2015: 1520–1528.

    1. [1]

      晋良念欧阳缮. 混合Neural-Gas网络和Sammon映射的数据可视化算法. 电子与信息学报, doi: 10.3724/SP.J.1146.2006.01557

    2. [2]

      李峰付琨尤红建吴一戎刘波. 一种高效的海量遥感栅格数据库的空间可视化检索算法. 电子与信息学报,

    3. [3]

      孙玉宝李欢吴敏吴泽彬贺金平刘青山. 基于图稀疏正则化多测量向量模型的高光谱压缩感知重建. 电子与信息学报, doi: 10.3724/SP.J.1146.2014.00566

    4. [4]

      吕东岳黄志蓓陶冠宏俞能海吴健康. 使用简易深度成像设备的高尔夫挥杆动态贝叶斯网络三维重建. 电子与信息学报, doi: 10.11999/JEIT150165

    5. [5]

      吕晓琪吴凉谷宇张明李菁. 基于深度卷积神经网络的低剂量CT肺部去噪. 电子与信息学报, doi: 10.11999/JEIT170769

    6. [6]

      郭智宋萍张义闫梦龙孙显孙皓. 基于深度卷积神经网络的遥感图像飞机目标检测方法. 电子与信息学报, doi: 10.11999/JEIT180117

    7. [7]

      王海蔡英凤贾允毅陈龙江浩斌. 基于深度卷积神经网络的场景自适应道路分割算法. 电子与信息学报, doi: 10.11999/JEIT160329

    8. [8]

      王鑫李可宁晨黄凤辰. 基于深度卷积神经网络和多核学习的遥感图像分类方法. 电子与信息学报, doi: 10.11999/JEIT180628

    9. [9]

      盖杉鲍中运. 基于改进深度卷积神经网络的纸币识别研究. 电子与信息学报, doi: 10.11999/JEIT181097

    10. [10]

      郭晨简涛徐从安何友孙顺. 基于深度多尺度一维卷积神经网络的雷达舰船目标识别. 电子与信息学报, doi: 10.11999/JEIT180677

    11. [11]

      杨宏宇王峰岩. 基于深度卷积神经网络的气象雷达噪声图像语义分割方法. 电子与信息学报, doi: 10.11999/JEIT190098

    12. [12]

      周武杰潘婷顾鹏笠翟治年. 基于金字塔池化网络的道路场景深度估计方法. 电子与信息学报, doi: 10.11999/JEIT180957

    13. [13]

      李寰宇毕笃彦查宇飞杨源. 一种易于初始化的类卷积神经网络视觉跟踪算法. 电子与信息学报, doi: 10.11999/JEIT150600

    14. [14]

      刘湘辉景宁殷建平李军靳肖闪. 带宽延迟约束的层次化网络监测模型. 电子与信息学报, doi: 10.3724/SP.J.1146.2006.01316

    15. [15]

      田慧蓉邹仕洪王文东程时端. P2P网络层次化信任模型. 电子与信息学报, doi: 10.3724/SP.J.1146.2005.01560

    16. [16]

      彭天强栗芳. 基于深度卷积神经网络和二进制哈希学习的图像检索方法. 电子与信息学报, doi: 10.11999/JEIT151346

    17. [17]

      胡晋王华力金利峰. 修正Gram-Schmidt正交化构建电源分配网络时域宏模型. 电子与信息学报, doi: 10.3724/SP.J.1146.2006.00486

    18. [18]

      温郑铨杜培明郭春生. 规范化分段线性化网络的可控开关模型. 电子与信息学报,

    19. [19]

      刘亚新赵瑞珍胡绍海姜春晖. 用于压缩感知信号重建的正则化自适应匹配追踪算法. 电子与信息学报, doi: 10.3724/SP.J.1146.2009.01623

    20. [20]

      罗宇杜利民. 基于隐马尔可夫模型局部最优状态路径的数据重建算法. 电子与信息学报,

  • 图 1  正交向量组

    图 2  最大池化

    图 3  权值的可视化排列

    图 4  训练样本

    图 5  学习曲线

    图 6  安-26作为样本输入的权值可视化

    图 7  雅克-42作为样本输入的权值可视化

    图 8  安-26为样本的反卷积结果

    图 9  雅克-42为样本的反卷积结果

    图 10  间隔100次迭代的重建模型的权值可视化

    图 11  相邻100次迭代后重建模型权值的相关系数

    表 1  两种模型分类输出比较

    输出结果安-26飞机图像雅克-42飞机图像
    原模型–13.45–9.22–8.14–6.75–5.6310.6511.015.939.127.31
    13.429.308.236.835.69–10.81–11.15–6.01–9.22–7.38
    重建后模型–13.45–9.22–8.14–6.75–5.6310.6511.015.939.127.31
    13.429.308.236.835.69–10.81–11.15–6.01–9.22–7.38
    下载: 导出CSV
  • 加载中
图(11)表(1)
计量
  • PDF下载量:  21
  • 文章访问数:  129
  • HTML全文浏览量:  69
  • 引证文献数: 0
文章相关
  • 通讯作者:  刘嘉铭, liujiaming@stu.xidian.edu.cn
  • 收稿日期:  2018-09-21
  • 录用日期:  2019-02-19
  • 网络出版日期:  2019-03-21
通讯作者: 陈斌, bchen63@163.com
  • 1. 

    沈阳化工大学材料科学与工程学院 沈阳 110142

  1. 本站搜索
  2. 百度学术搜索
  3. 万方数据库搜索
  4. CNKI搜索

/

返回文章