高级搜索

多级注意力特征网络的小样本学习

汪荣贵 韩梦雅 杨娟 薛丽霞 胡敏

引用本文: 汪荣贵, 韩梦雅, 杨娟, 薛丽霞, 胡敏. 多级注意力特征网络的小样本学习[J]. 电子与信息学报, 2020, 42(3): 772-778. doi: 10.11999/JEIT190242 shu
Citation:  Ronggui WANG, Mengya HAN, Juan YANG, Lixia XUE, Min HU. Multi-level Attention Feature Network for Few-shot Learning[J]. Journal of Electronics and Information Technology, 2020, 42(3): 772-778. doi: 10.11999/JEIT190242 shu

多级注意力特征网络的小样本学习

    作者简介: 汪荣贵: 男,1966年生,教授,研究方向为智能视频处理与分析、视频大数据与云计算等;
    韩梦雅: 女,1996年生,硕士生,研究方向为深度学习、计算机视觉等;
    杨娟: 女,1983年生,讲师,研究方向为视频信息处理、视频大数据处理技术等;
    薛丽霞: 女,1976年生,副教授,研究方向为视频大数据检索与分析;
    胡敏: 女,1967年生,教授,研究方向为计算机视觉、数字图像处理等
    通讯作者: 杨娟,yangjuan@hfut.edu.cn
  • 基金项目: 国家自然基金(61672202),国家自然科学基金-深圳联合基金重点项目(U1613217)

摘要: 针对目前基于度量学习的小样本方法存在特征提取尺度单一,类特征学习不准确,相似性计算依赖标准度量等问题,该文提出多级注意力特征网络。首先对图像进行尺度处理获得多个尺度图像;其次通过图像级注意力机制融合所提取的多个尺度图像特征获取图像级注意力特征;在此基础上使用类级注意机制学习每个类的类级注意力特征。最后通过网络计算样本特征与每个类的类级注意力特征的相似性分数来预测分类。该文在Omniglot和MiniImageNet两个数据集上验证多级注意力特征网络的有效性。实验结果表明,相比于单一尺度图像特征和均值类原型,多级注意力特征网络进一步提高了小样本条件下的分类准确率。

English

    1. [1]

      GIRSHICK R. Fast R-CNN[C]. 2015 IEEE International Conference on Computer Vision, Santiago, Chile, 2015: 1440–1448. doi: 10.1109/ICCV.2015.169.

    2. [2]

      HUANG Gao, LIU Zhuang, VAN DER MAATEN L, et al. Densely connected convolutional networks[C]. 2017 IEEE Conference on Computer Vision and Pattern Recognition, Honolulu, USA, 2017: 2261–2269. doi: 10.1109/CVPR.2017.243.

    3. [3]

      HE Di, XIA Yingce, QIN Tao, et al. Dual learning for machine translation[C]. The 30th Conference on Neural Information Processing Systems, Barcelona, Spain, 2016: 820–828.

    4. [4]

      LI Feifei, FERGUS R, and PERONA P. One-shot learning of object categories[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2006, 28(4): 594–611. doi: 10.1109/TPAMI.2006.79

    5. [5]

      MEHROTRA A and DUKKIPATI A. Generative adversarial residual pairwise networks for one shot learning[EB/OL]. https://arxiv.org/abs/1703.08033, 2017.

    6. [6]

      DIXIT M, KWITT R, NIETHAMMER M, et al. AGA: Attribute-guided augmentation[C]. 2017 IEEE Conference on Computer Vision and Pattern Recognition, Honolulu, USA, 2017: 7455–7463. doi: 10.1109/CVPR.2017.355.

    7. [7]

      HARIHARAN B and GIRSHICK R. Low-shot visual recognition by shrinking and hallucinating features[C]. 2017 IEEE International Conference on Computer Vision, Venice, Italy, 2017: 3037–3046. doi: 10.1109/iccv.2017.328.

    8. [8]

      FINN C, ABBEEL P, and LEVINE S. Model-agnostic meta-learning for fast adaptation of deep networks[C]. The 34th International Conference on Machine Learning, Sydney, Australia, 2017: 1126–1135.

    9. [9]

      RAVI S and LAROCHELLE H. Optimization as a model for few-shot learning[EB/OL]. https://openreview.net/forum?id=rJY0-Kcll, 2017.

    10. [10]

      SANTORO A, BARTUNOV S, BOTVINICK M, et al. Meta-learning with memory-augmented neural networks[C]. The 33rd International Conference on Machine Learning, New York, USA, 2016: 1842–1850.

    11. [11]

      KOCH G. Siamese neural networks for one-shot image recognition[EB/OL]. http://www.cs.utoronto.ca/~gkoch/files/msc-thesis.pdf, 2015.

    12. [12]

      VINYALS O, BLUNDELL C, LILLICRAP T, et al. Matching networks for one shot learning[C]. The 30th Conference on Neural Information Processing Systems, Barcelona, Spain, 2016: 3630–3638.

    13. [13]

      SNELL J, SWERSKY K, and ZEMEL R. Prototypical networks for few-shot learning[C]. The 31st Conference on Neural Information Processing Systems, Long Beach, USA, 2017: 4080–4090.

    14. [14]

      SUNG F, YANG Yongxin, ZHANG Li, et al. Learning to compare: Relation network for few-shot learning[C]. 2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition, Salt Lake City, USA, 2018: 1199–1208. doi: 10.1109/cvpr.2018.00131.

    15. [15]

      WANG Peng, LIU Lingqiao, and SHEN Chunhua. Multi-attention network for one shot learning[C]. 2017 IEEE Conference on Computer Vision and Pattern Recognition, Honolulu, USA, 2017: 6212–6220. doi: 10.1109/CVPR.2017.658.

    16. [16]

      HILLIARD N, HODAS N O, and CORLEY C D. Dynamic input structure and network assembly for few-shot learning[EB/OL]. https://arxiv.org/abs/1708.06819v1, 2017.

    1. [1]

      赵娅, 郭嘉慧, 李盼池. 一种量子图像的中值滤波方案. 电子与信息学报, 2020, 42(0): 1-8.

    2. [2]

      徐少平, 林珍玉, 崔燕, 刘蕊蕊, 杨晓辉. 采用双通道卷积神经网络构建的随机脉冲噪声深度降噪模型. 电子与信息学报, 2020, 41(0): 1-8.

    3. [3]

      王粉花, 赵波, 黄超, 严由齐. 基于多尺度和注意力融合学习的行人重识别. 电子与信息学报, 2020, 42(0): 1-8.

    4. [4]

      柳长源, 王琪, 毕晓君. 基于多通道多尺度卷积神经网络的单幅图像去雨方法. 电子与信息学报, 2020, 42(0): 1-8.

    5. [5]

      易诗, 吴志娟, 朱竞铭, 李欣荣, 袁学松. 基于多尺度生成对抗网络的运动散焦红外图像复原. 电子与信息学报, 2020, 42(7): 1766-1773.

    6. [6]

      兰红, 方治屿. 零样本图像识别. 电子与信息学报, 2020, 42(5): 1188-1200.

    7. [7]

      刘政怡, 刘俊雷, 赵鹏. 基于样本选择的RGBD图像协同显著目标检测. 电子与信息学报, 2020, 42(0): 1-8.

    8. [8]

      赵斌, 王春平, 付强. 显著性背景感知的多尺度红外行人检测方法. 电子与信息学报, 2020, 42(0): 1-9.

    9. [9]

      付晓薇, 杨雪飞, 陈芳, 李曦. 一种基于深度学习的自适应医学超声图像去斑方法. 电子与信息学报, 2020, 42(7): 1782-1789.

    10. [10]

      雷大江, 张策, 李智星, 吴渝. 基于多流融合生成对抗网络的遥感图像融合方法. 电子与信息学报, 2020, 41(0): 1-8.

    11. [11]

      张惊雷, 厚雅伟. 基于改进循环生成式对抗网络的图像风格迁移. 电子与信息学报, 2020, 42(5): 1216-1222.

    12. [12]

      牛莹, 张勋才. 基于变步长约瑟夫遍历和DNA动态编码的图像加密算法. 电子与信息学报, 2020, 42(6): 1383-1391.

    13. [13]

      武迎春, 王玉梅, 王安红, 赵贤凌. 基于边缘增强引导滤波的光场全聚焦图像融合. 电子与信息学报, 2020, 41(0): 1-9.

    14. [14]

      郭全民, 柴改霞, 李翰山. 夜视抗晕光融合图像自适应分区质量评价. 电子与信息学报, 2020, 42(7): 1750-1757.

    15. [15]

      许欢, 苏树智, 颜文婧, 邓瀛灏, 谢军. 面向图像识别的测地局部典型相关分析方法. 电子与信息学报, 2020, 42(0): 1-6.

    16. [16]

      胡永健, 高逸飞, 刘琲贝, 廖广军. 基于图像分割网络的深度假脸视频篡改检测. 电子与信息学报, 2020, 42(0): 1-9.

    17. [17]

      陈勇, 刘曦, 刘焕淋. 基于特征通道和空间联合注意机制的遮挡行人检测方法. 电子与信息学报, 2020, 42(6): 1486-1493.

    18. [18]

      陈皓, 李广, 刘洋, 强永乾. 一种在MR图像中进行脑胶质瘤检测和病灶分割的方法. 电子与信息学报, 2020, 41(0): 1-11.

    19. [19]

      李骜, 刘鑫, 陈德运, 张英涛, 孙广路. 基于低秩表示的鲁棒判别特征子空间学习模型. 电子与信息学报, 2020, 42(5): 1223-1230.

    20. [20]

      夏平凡, 倪志伟, 朱旭辉, 倪丽萍. 基于双错测度的极限学习机选择性集成方法. 电子与信息学报, 2020, 42(0): 1-9.

  • 图 1  5-shot 分类网络结构图

    图 2  特征模块

    图 3  类别不平衡条件下的小样本分类网络结构图

    图 4  one-shot 分类网络结构图

    表 1  不同尺度图像的特征提取网络分支结构

    网络名分支1分支2分支3
    结构$\left[ \begin{array}{l} {\rm C}:3 \times 3,64 \\ {\rm MP}:2 \times 2 \\ \end{array} \right]$$\left[ \begin{array}{l} {\rm C}:3 \times 3,64 \\ {\rm MP}:2 \times 2 \\ \end{array} \right]$$\left[ {{\rm C}:3 \times 3,64} \right]$
    $\left[ \begin{array}{l} {\rm C}:3 \times 3,64 \\ {\rm MP}:2 \times 2 \\ \end{array} \right]$$\left[ {{\rm C}:3 \times 3,64} \right]$$\left[ {{\rm C}:3 \times 3,64} \right]$
    $\left[ {{\rm C}:3 \times 3,64} \right]$$\left[ {{\rm C}:3 \times 3,64} \right]$$\left[ {{\rm C}:3 \times 3,64} \right]$
    $\left[ {{\rm C}:3 \times 3,64} \right]$$\left[ {{\rm C}:3 \times 3,64} \right]$$\left[ {{\rm C}:3 \times 3,64} \right]$
    下载: 导出CSV

    表 2  Omniglot数据集上的小样本分类准确率(%)

    方法微调5-way 分类准确率20-way 分类准确率
    1-shot5-shot1-shot5-shot
    MANN82.894.9
    MATCHING NETS97.998.793.598.7
    PROTOTYPICAL NETS98.899.796.098.9
    MAML98.7±0.499.9±0.195.8±0.398.9±0.2
    RELATION NET99.6±0.299.8±0.197.6±0.299.1±0.1
    本文方法99.699.797.899.2
    下载: 导出CSV

    表 3  MiniIamgenet数据集上的小样本分类准确率(%)

    方法微调5-way分类准确率
    1-shot5-shot
    MATCHING NETS43.56±0.8453.11±0.73
    META-LEARN LSTM43.44±0.7760.60±0.71
    MAML48.70±1.8463.11±0.92
    PROTOTYPICAL NETS49.42±0.7868.20±0.66
    RELATION NETS50.44±0.8265.32±0.70
    本文方法53.18±0.8066.72±0.71
    本文方法(L2正则化)54.56±0.8167.39±0.68
    下载: 导出CSV

    表 4  MiniImageNet数据集上类特征方法的对比(%)

    类特征5-way 5-shot 分类准确率
    本文方法(均值类原型)65.80±0.65
    本文方法(求和)65.56±0.66
    本文方法(类级注意力特征)66.43±0.68
    下载: 导出CSV

    表 5  MiniImageNet数据集上图像特征方法的对比(%)

    图像特征5-way 分类准确率
    1-shot5-shot
    本文方法(单尺度特征)52.20±0.8266.43±0.68
    本文方法(两尺度特征)53.93±0.7966.89±0.71
    本文方法(图像级注意力特征)54.56±0.8167.39±0.68
    下载: 导出CSV

    表 6  MiniImageNet数据集上多尺度方式对比(%)

    多尺度方法5-way 分类准确率
    1-shot5-shot
    特征金字塔网络53.42±0.7666.50±0.69
    不同卷积核53.27±0.8366.29±0.66
    本文方法54.56±0.8167.39±0.68
    下载: 导出CSV

    表 7  MiniImageNet数据集上相似性度量方法的对比(%)

    度量方式5-way 分类准确率
    1-shot5-shot
    本文方法(欧氏距离)48.43±0.7863.52±0.71
    本文方法(余弦相似度)46.54±0.8260.50±0.70
    本文方法(网络计算)54.56±0.8167.39±0.68
    下载: 导出CSV
  • 加载中
图(4)表(7)
计量
  • PDF下载量:  120
  • 文章访问数:  3128
  • HTML全文浏览量:  1505
文章相关
  • 通讯作者:  杨娟, yangjuan@hfut.edu.cn
  • 收稿日期:  2019-04-11
  • 录用日期:  2019-09-05
  • 网络出版日期:  2019-09-17
  • 刊出日期:  2020-03-01
通讯作者: 陈斌, bchen63@163.com
  • 1. 

    沈阳化工大学材料科学与工程学院 沈阳 110142

  1. 本站搜索
  2. 百度学术搜索
  3. 万方数据库搜索
  4. CNKI搜索

/

返回文章