高级搜索

多级注意力特征网络的小样本学习

汪荣贵 韩梦雅 杨娟 薛丽霞 胡敏

引用本文: 汪荣贵, 韩梦雅, 杨娟, 薛丽霞, 胡敏. 多级注意力特征网络的小样本学习[J]. 电子与信息学报, 2020, 42(3): 772-778. doi: 10.11999/JEIT190242 shu
Citation:  Ronggui WANG, Mengya HAN, Juan YANG, Lixia XUE, Min HU. Multi-level Attention Feature Network for Few-shot Learning[J]. Journal of Electronics and Information Technology, 2020, 42(3): 772-778. doi: 10.11999/JEIT190242 shu

多级注意力特征网络的小样本学习

    作者简介: 汪荣贵: 男,1966年生,教授,研究方向为智能视频处理与分析、视频大数据与云计算等;
    韩梦雅: 女,1996年生,硕士生,研究方向为深度学习、计算机视觉等;
    杨娟: 女,1983年生,讲师,研究方向为视频信息处理、视频大数据处理技术等;
    薛丽霞: 女,1976年生,副教授,研究方向为视频大数据检索与分析;
    胡敏: 女,1967年生,教授,研究方向为计算机视觉、数字图像处理等
    通讯作者: 杨娟,yangjuan@hfut.edu.cn
  • 基金项目: 国家自然基金(61672202),国家自然科学基金-深圳联合基金重点项目(U1613217)

摘要: 针对目前基于度量学习的小样本方法存在特征提取尺度单一,类特征学习不准确,相似性计算依赖标准度量等问题,该文提出多级注意力特征网络。首先对图像进行尺度处理获得多个尺度图像;其次通过图像级注意力机制融合所提取的多个尺度图像特征获取图像级注意力特征;在此基础上使用类级注意机制学习每个类的类级注意力特征。最后通过网络计算样本特征与每个类的类级注意力特征的相似性分数来预测分类。该文在Omniglot和MiniImageNet两个数据集上验证多级注意力特征网络的有效性。实验结果表明,相比于单一尺度图像特征和均值类原型,多级注意力特征网络进一步提高了小样本条件下的分类准确率。

English

    1. [1]

      GIRSHICK R. Fast R-CNN[C]. 2015 IEEE International Conference on Computer Vision, Santiago, Chile, 2015: 1440–1448. doi: 10.1109/ICCV.2015.169.

    2. [2]

      HUANG Gao, LIU Zhuang, VAN DER MAATEN L, et al. Densely connected convolutional networks[C]. 2017 IEEE Conference on Computer Vision and Pattern Recognition, Honolulu, USA, 2017: 2261–2269. doi: 10.1109/CVPR.2017.243.

    3. [3]

      HE Di, XIA Yingce, QIN Tao, et al. Dual learning for machine translation[C]. The 30th Conference on Neural Information Processing Systems, Barcelona, Spain, 2016: 820–828.

    4. [4]

      LI Feifei, FERGUS R, and PERONA P. One-shot learning of object categories[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2006, 28(4): 594–611. doi: 10.1109/TPAMI.2006.79

    5. [5]

      MEHROTRA A and DUKKIPATI A. Generative adversarial residual pairwise networks for one shot learning[EB/OL]. https://arxiv.org/abs/1703.08033, 2017.

    6. [6]

      DIXIT M, KWITT R, NIETHAMMER M, et al. AGA: Attribute-guided augmentation[C]. 2017 IEEE Conference on Computer Vision and Pattern Recognition, Honolulu, USA, 2017: 7455–7463. doi: 10.1109/CVPR.2017.355.

    7. [7]

      HARIHARAN B and GIRSHICK R. Low-shot visual recognition by shrinking and hallucinating features[C]. 2017 IEEE International Conference on Computer Vision, Venice, Italy, 2017: 3037–3046. doi: 10.1109/iccv.2017.328.

    8. [8]

      FINN C, ABBEEL P, and LEVINE S. Model-agnostic meta-learning for fast adaptation of deep networks[C]. The 34th International Conference on Machine Learning, Sydney, Australia, 2017: 1126–1135.

    9. [9]

      RAVI S and LAROCHELLE H. Optimization as a model for few-shot learning[EB/OL]. https://openreview.net/forum?id=rJY0-Kcll, 2017.

    10. [10]

      SANTORO A, BARTUNOV S, BOTVINICK M, et al. Meta-learning with memory-augmented neural networks[C]. The 33rd International Conference on Machine Learning, New York, USA, 2016: 1842–1850.

    11. [11]

      KOCH G. Siamese neural networks for one-shot image recognition[EB/OL]. http://www.cs.utoronto.ca/~gkoch/files/msc-thesis.pdf, 2015.

    12. [12]

      VINYALS O, BLUNDELL C, LILLICRAP T, et al. Matching networks for one shot learning[C]. The 30th Conference on Neural Information Processing Systems, Barcelona, Spain, 2016: 3630–3638.

    13. [13]

      SNELL J, SWERSKY K, and ZEMEL R. Prototypical networks for few-shot learning[C]. The 31st Conference on Neural Information Processing Systems, Long Beach, USA, 2017: 4080–4090.

    14. [14]

      SUNG F, YANG Yongxin, ZHANG Li, et al. Learning to compare: Relation network for few-shot learning[C]. 2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition, Salt Lake City, USA, 2018: 1199–1208. doi: 10.1109/cvpr.2018.00131.

    15. [15]

      WANG Peng, LIU Lingqiao, and SHEN Chunhua. Multi-attention network for one shot learning[C]. 2017 IEEE Conference on Computer Vision and Pattern Recognition, Honolulu, USA, 2017: 6212–6220. doi: 10.1109/CVPR.2017.658.

    16. [16]

      HILLIARD N, HODAS N O, and CORLEY C D. Dynamic input structure and network assembly for few-shot learning[EB/OL]. https://arxiv.org/abs/1708.06819v1, 2017.

    1. [1]

      兰红, 方治屿. 零样本图像识别. 电子与信息学报, 2020, 42(5): 1188-1200.

    2. [2]

      刘政怡, 刘俊雷, 赵鹏. 基于样本选择的RGBD图像协同显著目标检测. 电子与信息学报, 2020, 42(0): 1-8.

    3. [3]

      雷大江, 张策, 李智星, 吴渝. 基于多流融合生成对抗网络的遥感图像融合方法. 电子与信息学报, 2020, 41(0): 1-8.

    4. [4]

      张惊雷, 厚雅伟. 基于改进循环生成式对抗网络的图像风格迁移. 电子与信息学报, 2020, 42(5): 1216-1222.

    5. [5]

      牛莹, 张勋才. 基于变步长约瑟夫遍历和DNA动态编码的图像加密算法. 电子与信息学报, 2020, 42(6): 1383-1391.

    6. [6]

      陈勇, 刘曦, 刘焕淋. 基于特征通道和空间联合注意机制的遮挡行人检测方法. 电子与信息学报, 2020, 42(6): 1486-1493.

    7. [7]

      李骜, 刘鑫, 陈德运, 张英涛, 孙广路. 基于低秩表示的鲁棒判别特征子空间学习模型. 电子与信息学报, 2020, 42(5): 1223-1230.

    8. [8]

      刘焕淋, 杜理想, 陈勇, 王展鹏. 基于灾难预测多区域故障的虚拟光网络生存性映射. 电子与信息学报, 2020, 42(7): 1710-1717.

    9. [9]

      晋守博, 魏章志, 李耀红. 基于大通讯时滞的2阶多智能体系统的一致性分析. 电子与信息学报, 2020, 42(0): 1-6.

    10. [10]

      宋晨, 周良将, 吴一戎, 丁赤飚. 基于时频集中度指标的多旋翼无人机微动特征参数估计方法. 电子与信息学报, 2020, 42(0): 1-8.

    11. [11]

      褚征, 于炯. 基于随机森林的流处理检查点性能预测. 电子与信息学报, 2020, 42(6): 1452-1459.

    12. [12]

      刘汝卿, 蒋衍, 姜成昊, 李锋, 朱精果. 应用于激光雷达信号处理系统的放大电路接口设计. 电子与信息学报, 2020, 42(7): 1636-1642.

    13. [13]

      雷维嘉, 杨苗苗. 时间反转多用户系统中保密和速率优化的预处理滤波器设计. 电子与信息学报, 2020, 42(5): 1253-1260.

    14. [14]

      杨书新, 梁文, 朱凯丽. 基于三级邻居的复杂网络节点影响力度量方法. 电子与信息学报, 2020, 42(5): 1140-1148.

    15. [15]

      蒋瀚, 刘怡然, 宋祥福, 王皓, 郑志华, 徐秋亮. 隐私保护机器学习的密码学方法. 电子与信息学报, 2020, 42(5): 1068-1078.

    16. [16]

      刘坤, 吴建新, 甄杰, 王彤. 基于阵列天线和稀疏贝叶斯学习的室内定位方法. 电子与信息学报, 2020, 42(5): 1158-1164.

    17. [17]

      王一宾, 裴根生, 程玉胜. 基于标记密度分类间隔面的组类属属性学习. 电子与信息学报, 2020, 42(5): 1179-1187.

    18. [18]

      周牧, 李垚鲆, 谢良波, 蒲巧林, 田增山. 基于多核最大均值差异迁移学习的WLAN室内入侵检测方法. 电子与信息学报, 2020, 42(5): 1149-1157.

    19. [19]

      张文明, 姚振飞, 高雅昆, 李海滨. 一种平衡准确性以及高效性的显著性目标检测深度卷积网络模型. 电子与信息学报, 2020, 42(5): 1201-1208.

    20. [20]

      陈前斌, 管令进, 李子煜, 王兆堃, 杨恒, 唐伦. 基于深度强化学习的异构云无线接入网自适应无线资源分配算法. 电子与信息学报, 2020, 42(6): 1468-1477.

  • 图 1  5-shot 分类网络结构图

    图 2  特征模块

    图 3  类别不平衡条件下的小样本分类网络结构图

    图 4  one-shot 分类网络结构图

    表 1  不同尺度图像的特征提取网络分支结构

    网络名分支1分支2分支3
    结构$\left[ \begin{array}{l} {\rm C}:3 \times 3,64 \\ {\rm MP}:2 \times 2 \\ \end{array} \right]$$\left[ \begin{array}{l} {\rm C}:3 \times 3,64 \\ {\rm MP}:2 \times 2 \\ \end{array} \right]$$\left[ {{\rm C}:3 \times 3,64} \right]$
    $\left[ \begin{array}{l} {\rm C}:3 \times 3,64 \\ {\rm MP}:2 \times 2 \\ \end{array} \right]$$\left[ {{\rm C}:3 \times 3,64} \right]$$\left[ {{\rm C}:3 \times 3,64} \right]$
    $\left[ {{\rm C}:3 \times 3,64} \right]$$\left[ {{\rm C}:3 \times 3,64} \right]$$\left[ {{\rm C}:3 \times 3,64} \right]$
    $\left[ {{\rm C}:3 \times 3,64} \right]$$\left[ {{\rm C}:3 \times 3,64} \right]$$\left[ {{\rm C}:3 \times 3,64} \right]$
    下载: 导出CSV

    表 2  Omniglot数据集上的小样本分类准确率(%)

    方法微调5-way 分类准确率20-way 分类准确率
    1-shot5-shot1-shot5-shot
    MANN82.894.9
    MATCHING NETS97.998.793.598.7
    PROTOTYPICAL NETS98.899.796.098.9
    MAML98.7±0.499.9±0.195.8±0.398.9±0.2
    RELATION NET99.6±0.299.8±0.197.6±0.299.1±0.1
    本文方法99.699.797.899.2
    下载: 导出CSV

    表 3  MiniIamgenet数据集上的小样本分类准确率(%)

    方法微调5-way分类准确率
    1-shot5-shot
    MATCHING NETS43.56±0.8453.11±0.73
    META-LEARN LSTM43.44±0.7760.60±0.71
    MAML48.70±1.8463.11±0.92
    PROTOTYPICAL NETS49.42±0.7868.20±0.66
    RELATION NETS50.44±0.8265.32±0.70
    本文方法53.18±0.8066.72±0.71
    本文方法(L2正则化)54.56±0.8167.39±0.68
    下载: 导出CSV

    表 4  MiniImageNet数据集上类特征方法的对比(%)

    类特征5-way 5-shot 分类准确率
    本文方法(均值类原型)65.80±0.65
    本文方法(求和)65.56±0.66
    本文方法(类级注意力特征)66.43±0.68
    下载: 导出CSV

    表 5  MiniImageNet数据集上图像特征方法的对比(%)

    图像特征5-way 分类准确率
    1-shot5-shot
    本文方法(单尺度特征)52.20±0.8266.43±0.68
    本文方法(两尺度特征)53.93±0.7966.89±0.71
    本文方法(图像级注意力特征)54.56±0.8167.39±0.68
    下载: 导出CSV

    表 6  MiniImageNet数据集上多尺度方式对比(%)

    多尺度方法5-way 分类准确率
    1-shot5-shot
    特征金字塔网络53.42±0.7666.50±0.69
    不同卷积核53.27±0.8366.29±0.66
    本文方法54.56±0.8167.39±0.68
    下载: 导出CSV

    表 7  MiniImageNet数据集上相似性度量方法的对比(%)

    度量方式5-way 分类准确率
    1-shot5-shot
    本文方法(欧氏距离)48.43±0.7863.52±0.71
    本文方法(余弦相似度)46.54±0.8260.50±0.70
    本文方法(网络计算)54.56±0.8167.39±0.68
    下载: 导出CSV
  • 加载中
图(4)表(7)
计量
  • PDF下载量:  113
  • 文章访问数:  2989
  • HTML全文浏览量:  1396
文章相关
  • 通讯作者:  杨娟, yangjuan@hfut.edu.cn
  • 收稿日期:  2019-04-11
  • 录用日期:  2019-09-05
  • 网络出版日期:  2019-09-17
  • 刊出日期:  2020-03-01
通讯作者: 陈斌, bchen63@163.com
  • 1. 

    沈阳化工大学材料科学与工程学院 沈阳 110142

  1. 本站搜索
  2. 百度学术搜索
  3. 万方数据库搜索
  4. CNKI搜索

/

返回文章