高级搜索

留言板

尊敬的读者、作者、审稿人, 关于本刊的投稿、审稿、编辑和出版的任何问题, 您可以本页添加留言。我们将尽快给您答复。谢谢您的支持!

姓名
邮箱
手机号码
标题
留言内容
验证码

基于深度哈希算法的极光图像分类与检索方法

陈昌红 彭腾飞 干宗良

陈昌红, 彭腾飞, 干宗良. 基于深度哈希算法的极光图像分类与检索方法[J]. 电子与信息学报. doi: 10.11999/JEIT190984
引用本文: 陈昌红, 彭腾飞, 干宗良. 基于深度哈希算法的极光图像分类与检索方法[J]. 电子与信息学报. doi: 10.11999/JEIT190984
Changhong CHEN, Tengfei PENG, Zongliang GAN. Aurora Image Classification and Retrieval Method Based on Deep Hashing Algorithm[J]. Journal of Electronics and Information Technology. doi: 10.11999/JEIT190984
Citation: Changhong CHEN, Tengfei PENG, Zongliang GAN. Aurora Image Classification and Retrieval Method Based on Deep Hashing Algorithm[J]. Journal of Electronics and Information Technology. doi: 10.11999/JEIT190984

基于深度哈希算法的极光图像分类与检索方法

doi: 10.11999/JEIT190984
基金项目: 国家自然科学基金(61501260),江苏省研究生科研与实践创新计划(KYCX17_0776)
详细信息
    作者简介:

    陈昌红:女,1982年生,副教授,研究方向为智能视频分析、模式识别

    彭腾飞:男,1994年生,硕士生,研究方向为图像处理与图像通信

    干宗良:男,1978年生,副教授,研究方向为分布式视频编码、图像信号视频处理

    通讯作者:

    陈昌红 chenchh@njupt.edu.cn

  • 中图分类号: TN911.73

Aurora Image Classification and Retrieval Method Based on Deep Hashing Algorithm

Funds: The National Natural Science Foundation of China (61501260), The Postgraduate Research & Practice Innovation Program of Jiangsu Province (KYCX17_0776)
  • 摘要: 面对形态万千、变化复杂的海量极光数据,对其进行分类与检索为进一步研究地球磁场物理机制和空间信息具有重要意义。该文基于卷积神经网络(CNN)对图像特征提取方面的良好表现,以及哈希编码可以满足大规模图像检索对检索时间的要求,提出一种端到端的深度哈希算法用于极光图像分类与检索。首先在CNN中嵌入空间金字塔池化(SPP)和幂均值变换(PMT)来提取图像中多种尺度的区域信息;其次在全连接层之间加入哈希层,将全连接层最能表现图像的高维语义信息映射为紧凑的二值哈希码,并在低维空间使用汉明距离对图像对之间的相似性进行度量;最后引入多任务学习机制,充分利用图像标签信息和图像对之间的相似度信息来设计损失函数,联合分类层和哈希层的损失作为优化目标,使哈希码之间可以保持更好的语义相似性,有效提升了检索性能。在极光数据集和 CIFAR-10 数据集上的实验结果表明,所提出方法检索性能优于其他现有检索方法,同时能够有效用于极光图像分类。
  • 图  1  本文算法的训练和测试框图

    图  2  空间金字塔池化示意图

    图  3  4类极光类型图像

    图  4  3种方法的MAP, P-R以及Top-k 检索返回的准确率曲线

    图  5  3种方法在哈希码长度为48 bit时的四分类混淆矩阵

    图  6  不同哈希算法在CIFAR-10数据集上MAP, P-R以及Top-k 检索返回的准确率曲线

    表  1  有无哈希层损失两种方法对比

    方法MAP准确率
    不考虑哈希层损失0.75630.8705
    考虑哈希层损失0.85540.9073
    下载: 导出CSV

    表  2  有无SPP_PMT层两种方法对比

    方法MAP准确率
    不加SPP_PMT0.85540.9073
    加入SPP_PMT0.89630.9367
    下载: 导出CSV

    表  3  3种方法的MAP以及在bit=48下模型参数大小(MB)和训练时间(min)

    方法不同哈希码长度(bit)下的MAP参数大小训练时间
    12243248
    AlexNet0.83360.84500.85180.8554218.20158
    AlexNet-SP0.87290.90040.90660.8963179.15115
    Im-AlexNet-SP0.89950.90720.91730.9095100.7780
    下载: 导出CSV

    表  4  3种方法在不同哈希码长度下的准确率

    方法不同哈希码长度(bit)下的准确率
    12243248
    AlexNet0.89640.89950.89880.9073
    AlexNet-SP0.93120.92980.93250.9367
    Im-AlexNet-SP0.93200.93050.94100.9384
    下载: 导出CSV

    表  5  本文方法与其他极光检索算法的MAP以及平均查询时间对比(s)

    方法MAP平均查询时间
    HE0.52530.65
    VLAD0.58680.52
    MAC0.65581.22
    MS-RMAC0.69012.89
    本文Im-AlexNet-SP0.90950.43
    下载: 导出CSV

    表  6  不同哈希算法在CIFAR-10不同哈希码长度下的MAP

    方法不同哈希码长度(bit)下的MAP
    12243248
    本文Im-AlexNet-SP0.9020.9040.9120.907
    DPSH0.7130.7270.7440.757
    DSH0.6730.6850.6900.694
    CNNH0.4390.5110.5090.522
    KSH0.3030.3370.3460.356
    ITQ0.1620.1690.1720.175
    LSH0.1270.1370.1410.149
    下载: 导出CSV
  • [1] WANG Qian, LIANG Jimin, HU Zejun, et al. Spatial texture based automatic classification of dayside aurora in all-sky images[J]. Journal of Atmospheric and Solar-Terrestrial Physics, 2010, 72(5/6): 498–508. doi:  10.1016/j.jastp.2010.01.011
    [2] 韩冰, 杨辰, 高新波. 融合显著信息的LDA极光图像分类[J]. 软件学报, 2013, 24(11): 2758–2766. doi:  10.3724/SP.J.1001.2013.04481

    HAN Bing, YANG Chen, and GAO Xinbo. Aurora image classification based on LDA combining with saliency information[J]. Journal of Software, 2013, 24(11): 2758–2766. doi:  10.3724/SP.J.1001.2013.04481
    [3] SYRJÄSUO M T, DONOVAN E F, and COGGER L L. Content-based retrieval of auroral images - thousands of irregular shapes[C]. The 4th IASTED International Conference Visualization, Imaging, and Image Processing, Marbella, Spain, 2004.
    [4] FU Rong, GAO Xinbo, LI Xuelong, et al. An integrated aurora image retrieval system: Aurora Eye[J]. Journal of Visual Communication and Image Representation, 2010, 21(8): 787–797. doi:  10.1016/j.jvcir.2010.06.002
    [5] YANG Xi, GAO Xinbo, SONG Bin, et al. Aurora image search with contextual CNN feature[J]. Neurocomputing, 2018, 281: 67–77. doi:  10.1016/j.neucom.2017.11.059
    [6] 葛芸, 马琳, 江顺亮, 等. 基于高层特征图组合及池化的高分辨率遥感图像检索[J]. 电子与信息学报, 2019, 41(10): 2487–2494. doi:  10.11999/JEIT190017

    GE Yun, MA Lin, JIANG Shunliang, et al. The combination and pooling based on high-level feature map for high-resolution remote sensing image retrieval[J]. Journal of Electronics &Information Technology, 2019, 41(10): 2487–2494. doi:  10.11999/JEIT190017
    [7] 刘冶, 潘炎, 夏榕楷, 等. FP-CNNH: 一种基于深度卷积神经网络的快速图像哈希算法[J]. 计算机科学, 2016, 43(9): 39–46, 51. doi:  10.11896/j.issn.1002-137X.2016.09.007

    LIU Ye, PAN Yan, XIA Rongkai, et al. FP-CNNH: A fast image hashing algorithm based on deep convolutional neural network[J]. Computer Science, 2016, 43(9): 39–46, 51. doi:  10.11896/j.issn.1002-137X.2016.09.007
    [8] LI Wujun, WANG Sheng, and KANG Wangcheng. Feature learning based deep supervised hashing with pairwise labels[C]. The 25th International Joint Conference on Artificial Intelligence, New York, USA, 2016: 1711–1717.
    [9] LIU Haomiao, WANG Ruiping, SHAN Shiguang, et al. Deep supervised hashing for fast image retrieval[C]. 2016 IEEE Conference on Computer Vision and Pattern Recognition, Las Vegas, USA, 2016: 2064–2072. doi:  10.1109/CVPR.2016.227.
    [10] KRIZHEVSKY A, SUTSKEVER I, and HINTON G E. Imagenet classification with deep convolutional neural networks[C]. The 25th International Conference on Neural Information Processing Systems, Lake Tahoe, USA, 2012: 1097–1105.
    [11] HE Kaiming, ZHANG Xiangyu, REN Shaoqing, et al. Spatial pyramid pooling in deep convolutional networks for visual recognition[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2015, 37(9): 1904–1916. doi:  10.1109/TPAMI.2015.2389824
    [12] 赵斐, 张文凯, 闫志远, 等. 基于多特征图金字塔融合深度网络的遥感图像语义分割[J]. 电子与信息学报, 2019, 41(10): 2525–2531. doi:  10.11999/JEIT190047

    ZHAO Fei, ZHANG Wenkai, YAN Zhiyuan, et al. Multi-feature map pyramid fusion deep network for semantic segmentation on remote sensing data[J]. Journal of Electronics &Information Technology, 2019, 41(10): 2525–2531. doi:  10.11999/JEIT190047
    [13] ZHANG Chenlin and WU Jianxin. Improving CNN linear layers with power mean non-linearity[J]. Pattern Recognition, 2019, 89: 12–21. doi:  10.1016/j.patcog.2018.12.029
    [14] JEGOU H, DOUZE M, and SCHMID C. Hamming embedding and weak geometric consistency for large scale image search[C]. The 10th European Conference on Computer Vision, Marseille, 2008: 304–317. doi:  10.1007/978-3-540-88682-2_24.
    [15] XIA Yan, HE Kaiming, WEN Fang, et al. Joint inverted indexing[C]. 2013 IEEE International Conference on Computer Vision, Sydney, 2013: 3416–3423. doi:  10.1109/ICCV.2013.424.
    [16] TOLIAS G, SICRE R, and JÉGOU H. Particular object retrieval with integral max-pooling of CNN activations[C]. The 4th International Conference on Learning Representations, San Juan, Puerto Rico, 2016: 1–12.
    [17] LI Yang, XU Yulong, WANG Jiabao, et al. MS-RMAC: Multiscale regional maximum activation of convolutions for image retrieval[J]. IEEE Signal Processing Letters, 2017, 24(5): 609–613. doi:  10.1109/LSP.2017.2665522
    [18] DATAR M, IMMORLICA N, INDYK P, et al. Locality- sensitive hashing scheme based on p-stable distributions[C]. The 20th Annual Symposium on Computational Geometry, Brooklyn, USA, 2004: 253–262. doi:  10.1145/997817.997857.
    [19] GONG Yunchao and LAZEBNIK S. Iterative quantization: A procrustean approach to learning binary codes[C]. The 24th IEEE Conference on Computer Vision and Pattern Recognition, Providence, USA, 2011: 817–824. doi:  10.1109/CVPR.2011.5995432.
    [20] LIU Wei, WANG Jun, JI Rongrong, et al. Supervised hashing with kernels[C]. 2012 IEEE Conference on Computer Vision and Pattern Recognition, Providence, USA, 2012: 2074–2081. doi:  10.1109/CVPR.2012.6247912.
  • [1] 夏朝阳, 周成龙, 介钧誉, 周涛, 汪相锋, 徐丰.  基于多通道调频连续波毫米波雷达的微动手势识别, 电子与信息学报. 2020, 42(1): 164-172. doi: 10.11999/JEIT190797
    [2] 赵斌, 王春平, 付强.  显著性背景感知的多尺度红外行人检测方法, 电子与信息学报. 2020, 42(10): 2524-2532. doi: 10.11999/JEIT190761
    [3] 申铉京, 沈哲, 黄永平, 王玉.  基于非局部操作的深度卷积神经网络车位占用检测算法, 电子与信息学报. 2020, 42(9): 2269-2276. doi: 10.11999/JEIT190349
    [4] 贺丰收, 何友, 刘准钆, 徐从安.  卷积神经网络在雷达自动目标识别中的研究进展, 电子与信息学报. 2020, 42(1): 119-131. doi: 10.11999/JEIT180899
    [5] 缪祥华, 单小撤.  基于密集连接卷积神经网络的入侵检测技术研究, 电子与信息学报. 2020, 41(0): 1-7. doi: 10.11999/JEIT190655
    [6] 牛伟纳, 蒋天宇, 张小松, 谢娇, 张俊哲, 赵振扉.  基于流量时空特征的fast-flux僵尸网络检测方法, 电子与信息学报. 2020, 42(8): 1872-1880. doi: 10.11999/JEIT190724
    [7] 申滨, 王欣, 陈思吉, 崔太平.  基于机器学习主用户发射模式分类的蜂窝认知无线电网络频谱感知, 电子与信息学报. 2020, 41(0): 1-9. doi: 10.11999/JEIT191012
    [8] 柯丽, 王丹妮, 杜强, 姜楚迪.  基于卷积长短时记忆网络的心律失常分类方法, 电子与信息学报. 2020, 42(8): 1990-1998. doi: 10.11999/JEIT190712
    [9] 刘政怡, 段群涛, 石松, 赵鹏.  基于多模态特征融合监督的RGB-D图像显著性检测, 电子与信息学报. 2020, 42(4): 997-1004. doi: 10.11999/JEIT190297
    [10] 刘小燕, 李照明, 段嘉旭, 项天远.  基于卷积神经网络的印刷电路板色环电阻检测与定位方法, 电子与信息学报. 2020, 42(9): 2302-2311. doi: 10.11999/JEIT190608
    [11] 袁野, 贾克斌, 刘鹏宇.  基于深度卷积神经网络的多元医学信号多级上下文自编码器, 电子与信息学报. 2020, 42(2): 371-378. doi: 10.11999/JEIT190135
    [12] 杨钧智, 吴金亮, 智军.  基于多尺度圆周频率滤波与卷积神经网络的遥感图像飞机目标检测方法研究, 电子与信息学报. 2020, 42(0): 1-8. doi: 10.11999/JEIT200144
    [13] 刘勤让, 刘崇阳.  利用参数稀疏性的卷积神经网络计算优化及其FPGA加速器设计, 电子与信息学报. 2018, 40(6): 1368-1374. doi: 10.11999/JEIT170819
    [14] 吕晓琪, 吴凉, 谷宇, 张明, 李菁.  基于深度卷积神经网络的低剂量CT肺部去噪, 电子与信息学报. 2018, 40(6): 1353-1359. doi: 10.11999/JEIT170769
    [15] 谢金宝, 侯永进, 康守强, 李佰蔚, 张霄.  基于语义理解注意力神经网络的多元特征融合中文文本分类, 电子与信息学报. 2018, 40(5): 1258-1265. doi: 10.11999/JEIT170815
    [16] 伍家松, 达臻, 魏黎明, SENHADJILotfi, 舒华忠.  基于分裂基-2/(2a)FFT算法的卷积神经网络加速性能的研究, 电子与信息学报. 2017, 39(2): 285-292. doi: 10.11999/JEIT160357
    [17] 李寰宇, 毕笃彦, 查宇飞, 杨源.  一种易于初始化的类卷积神经网络视觉跟踪算法, 电子与信息学报. 2016, 38(1): 1-7. doi: 10.11999/JEIT150600
    [18] 李祖贺, 樊养余, 王凤琴.  YUV空间中基于稀疏自动编码器的无监督特征学习, 电子与信息学报. 2016, 38(1): 29-37. doi: 10.11999/JEIT150557
    [19] 杜兰, 刘彬, 王燕, 刘宏伟, 代慧.  基于卷积神经网络的SAR图像目标检测算法, 电子与信息学报. 2016, 38(12): 3018-3025. doi: 10.11999/JEIT161032
    [20] 李寰宇, 毕笃彦, 杨源, 查宇飞, 覃兵, 张立朝.  基于深度特征表达与学习的视觉跟踪算法研究, 电子与信息学报. 2015, 37(9): 2033-2039. doi: 10.11999/JEIT150031
  • 加载中
  • 图(6) / 表ll (6)
    计量
    • 文章访问数:  159
    • HTML全文浏览量:  100
    • PDF下载量:  21
    • 被引次数: 0
    出版历程
    • 收稿日期:  2019-12-09
    • 修回日期:  2020-08-09
    • 网络出版日期:  2020-08-13

    目录

      /

      返回文章
      返回

      官方微信,欢迎关注