高级搜索

基于多特征图金字塔融合深度网络的遥感图像语义分割

赵斐 张文凯 闫志远 于泓峰 刁文辉

引用本文: 赵斐, 张文凯, 闫志远, 于泓峰, 刁文辉. 基于多特征图金字塔融合深度网络的遥感图像语义分割[J]. 电子与信息学报, 2019, 41(10): 2525-2531. doi: 10.11999/JEIT190047 shu
Citation:  Fei ZHAO, Wenkai ZHANG, Zhiyuan YAN, Hongfeng YU, Wenhui DIAO. Multi-feature Map Pyramid Fusion Deep Network for Semantic Segmentation on Remote Sensing Data[J]. Journal of Electronics and Information Technology, 2019, 41(10): 2525-2531. doi: 10.11999/JEIT190047 shu

基于多特征图金字塔融合深度网络的遥感图像语义分割

    作者简介: 赵斐: 男,1974年生,高级工程师,研究方向为遥感图像目标检测;
    张文凯: 男,1990年生,助理研究员,研究方向为图像集视觉总结,遥感图像分类;
    闫志远: 女,1994年生,硕士,研究方向为遥感图像语义分割;
    于泓峰: 男,1991年生,助理研究员,研究方向为遥感图像智能解译;
    刁文辉: 男,1988年生,助理研究员,研究方向为遥感图像目标检测
    通讯作者: 张文凯,iecas_wenkai@yahoo.com
  • 基金项目: 国家自然科学基金(41701508)

摘要: 在遥感图像语义分割中,利用多元数据(如高程信息)进行辅助是一个研究重点。现有的基于多元数据的分割方法通常直接将多元数据作为模型的多特征输入,未能充分利用多元数据的多层次特征,此外,遥感图像中目标尺寸大小不一,对于一些中小型目标,如车辆、房屋等,难以做到精细化分割。针对以上问题,提出一种多特征图金字塔融合深度网络(MFPNet),该模型利用光学遥感图像和高程数据作为输入,提取图像的多层次特征,然后针对不同层次的特征,分别引入金字塔池化结构,提取图像的多尺度特征,最后,设计了一种多层次、多尺度特征融合策略,综合利用多元数据的特征信息,实现遥感图像的精细化分割。基于Vaihingen数据集设计了相应的对比实验,实验结果证明了所提方法的有效性。

English

    1. [1]

      DALAL N and TRIGGS B. Histograms of oriented gradients for human detection[C]. IEEE Computer Society Conference on Computer Vision and Pattern Recognition, San Diego, USA, 2005: 886–893.

    2. [2]

      LOWE D G. Distinctive image features from scale-invariant keypoints[J]. International Journal of Computer Vision, 2004, 60(2): 91–110. doi: 10.1023/B:VISI.0000029664.99615.94

    3. [3]

      SHOTTON J, JOHNSON M, and CIPOLLA R. Semantic texton forests for image categorization and segmentation[C]. IEEE Conference on Computer Vision and Pattern Recognition, Anchorage, USA, 2008: 1–8.

    4. [4]

      KRIZHEVSKY A, SUTSKEVER I, and HINTON G E. ImageNet classification with deep convolutional neural networks[C]. The 25th International Conference on Neural Information Processing Systems, Lake Tahoe, Nevada, 2012: 1097–1105.

    5. [5]

      LONG J, SHELHAMER E, and DARRELL T. Fully convolutional networks for semantic segmentation[C]. The IEEE Conference on Computer Vision and Pattern Recognition, Boston, USA, 2015: 3431–3440.

    6. [6]

      KAMPFFMEYER M, SALBERG A B, and JENSSEN R. Semantic segmentation of small objects and modeling of uncertainty in urban remote sensing images using deep convolutional neural networks[C]. The IEEE Conference on Computer Vision and Pattern Recognition Workshops, Las Vegas, USA, 2016: 1–9.

    7. [7]

      MAGGIORI E, TARABALKA Y, CHARPIAT G, et al. Convolutional neural networks for large-scale remote-sensing image classification[J]. IEEE Transactions on Geoscience and Remote Sensing, 2017, 55(2): 645–657. doi: 10.1109/TGRS.2016.2612821

    8. [8]

      SHELHAMER E, LONG J, and DARRELL T. Fully convolutional networks for semantic segmentation[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2017, 39(4): 640–651. doi: 10.1109/TPAMI.2016.2572683

    9. [9]

      MARMANIS D, WEGNER J D, GALLIANI S, et al. Semantic Segmentation of Aerial Images with an Ensemble of CNNS[J]. ISPRS Annals of the Photogrammetry, Remote Sensing and Spatial Information Sciences, 2016, III-3: 473–480. doi: 10.5194/isprsannals-III-3-473-2016

    10. [10]

      SHERRAH J. Fully convolutional networks for dense semantic labelling of high-resolution aerial imagery[J]. arXiv: 1606.02585, 2016.

    11. [11]

      ZHAO Hengshuang, SHI Jianping, QI Xiaojuan, et al. Pyramid scene parsing network[C]. IEEE Conference on Computer Vision and Pattern Recognition, Honolulu, USA, 2016: 6230–6239.

    12. [12]

      HE Kaiming, ZHANG Xiangyu, REN Shaoqing, et al. Deep residual learning for image recognition[C]. IEEE Conference on Computer Vision and Pattern Recognition, Las Vegas, USA, 2016: 770–778.

    13. [13]

      HAZIRBAS C, MA L N, DOMOKOS C, et al. FuseNet: Incorporating depth into semantic segmentation via fusion-based CNN architecture[C]. The 13th Asian Conference on Computer Vision, Taipei, China, 2016.

    14. [14]

      ISPRS 2D semantic labeling contest[EB/OL]. http://www2.isprs.org/commissions/comm3/wg4/semantic-labeling.html, 2019.

    15. [15]

      ABADI M, BARHAM P, CHEN Jianmin, et al. TensorFlow: A system for large-scale machine learning[C]. The 12th USENIX Conference on Operating Systems Design and Implementation, Savannah, USA, 2016.

    16. [16]

      CHEN L C, PAPANDREOU G, KOKKINOS I, et al. DeepLab: Semantic image segmentation with deep convolutional nets, atrous convolution, and fully connected CRFs[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2018, 40(4): 834–848. doi: 10.1109/TPAMI.2017.2699184

    1. [1]

      兰红, 方治屿. 零样本图像识别. 电子与信息学报, 2020, 42(5): 1188-1200.

    2. [2]

      申铉京, 沈哲, 黄永平, 王玉. 基于非局部操作的深度卷积神经网络车位占用检测算法. 电子与信息学报, 2020, 41(0): 1-8.

    3. [3]

      缪祥华, 单小撤. 基于密集连接卷积神经网络的入侵检测技术研究. 电子与信息学报, 2020, 41(0): 1-7.

    4. [4]

      游凌, 李伟浩, 张文林, 王科人. 基于深度神经网络的Morse码自动译码算法. 电子与信息学报, 2020, 41(0): 1-6.

    5. [5]

      刘小燕, 李照明, 段嘉旭, 项天远. 基于卷积神经网络的PCB板色环电阻检测与定位方法. 电子与信息学报, 2020, 41(0): 1-10.

    6. [6]

      柳长源, 王琪, 毕晓君. 基于多通道多尺度卷积神经网络的单幅图像去雨方法. 电子与信息学报, 2020, 42(0): 1-8.

    7. [7]

      雷大江, 张策, 李智星, 吴渝. 基于多流融合生成对抗网络的遥感图像融合方法. 电子与信息学报, 2020, 41(0): 1-8.

    8. [8]

      归伟夏, 陆倩, 苏美力. 关于系统级故障诊断的烟花-反向传播神经网络算法. 电子与信息学报, 2020, 42(5): 1102-1109.

    9. [9]

      邵凯, 李述栋, 王光宇, 付天飞. 基于迟滞噪声混沌神经网络的导频分配. 电子与信息学报, 2020, 41(0): 1-8.

    10. [10]

      张文明, 姚振飞, 高雅昆, 李海滨. 一种平衡准确性以及高效性的显著性目标检测深度卷积网络模型. 电子与信息学报, 2020, 42(5): 1201-1208.

    11. [11]

      刘文斌, 吴倩, 杜玉改, 方刚, 石晓龙, 许鹏. 基于个性化网络标志物的药物推荐方法研究. 电子与信息学报, 2020, 42(6): 1340-1347.

    12. [12]

      李骜, 刘鑫, 陈德运, 张英涛, 孙广路. 基于低秩表示的鲁棒判别特征子空间学习模型. 电子与信息学报, 2020, 42(5): 1223-1230.

    13. [13]

      陈勇, 刘曦, 刘焕淋. 基于特征通道和空间联合注意机制的遮挡行人检测方法. 电子与信息学报, 2020, 42(6): 1486-1493.

    14. [14]

      张天骐, 范聪聪, 葛宛营, 张天. 基于ICA和特征提取的MIMO信号调制识别算法. 电子与信息学报, 2020, 41(0): 1-8.

    15. [15]

      宋晨, 周良将, 吴一戎, 丁赤飚. 基于时频集中度指标的多旋翼无人机微动特征参数估计方法. 电子与信息学报, 2020, 42(0): 1-8.

    16. [16]

      唐伦, 曹睿, 廖皓, 王兆堃. 基于深度强化学习的服务功能链可靠部署算法. 电子与信息学报, 2020, 42(0): 1-8.

    17. [17]

      陈前斌, 管令进, 李子煜, 王兆堃, 杨恒, 唐伦. 基于深度强化学习的异构云无线接入网自适应无线资源分配算法. 电子与信息学报, 2020, 42(6): 1468-1477.

    18. [18]

      吕敬祥, 罗文浪. 无线传感网络量化及能量优化策略. 电子与信息学报, 2020, 42(5): 1118-1124.

    19. [19]

      徐瑨, 吴慧慈, 陶小峰. 5G网络空间安全对抗博弈. 电子与信息学报, 2020, 41(0): 1-11.

    20. [20]

      唐伦, 魏延南, 谭颀, 唐睿, 陈前斌. H-CRAN网络下联合拥塞控制和资源分配的网络切片动态资源调度策略. 电子与信息学报, 2020, 42(5): 1244-1252.

  • 图 1  多元特征图融合网络模型框架图

    图 2  金字塔池化结构

    图 3  不同方法分割结果对比图

    表 1  特征编码网络结构

    ResNet卷积层光学遥感图像分支输出高程数据分支输出多元特征融合融合输出输出尺寸
    7×7,64,步幅2L1-imgL1-ele1/2
    3×3,最大值池化,步幅2
    $\left. \begin{aligned}& \ \, 1 \times 1,\;64\\ & \ \, 3 \times 3,\;64\;\;\;\; \times 3\\ & \ \, 1 \times 1,\;256 \end{aligned} \right\}$
    L2-imgL2-eleC21/4
    $\left. \begin{aligned} & 1 \times 1,\;128\\ & 3 \times 3,\;128\;\;\;\; \times 4\\ & 1 \times 1,\;512 \end{aligned} \right\}$L3-imgL3-eleC31/8
    $\left. \begin{aligned} & 1 \times 1,\;128\\ & 3 \times 3,\;128\;\; \times 23\\ & 1 \times 1,\;512 \end{aligned} \right\}\left( {{\text{带孔卷积}} } \right)$L4-imgL4-eleC41/8
    $\left. \begin{aligned}& \ \, 1 \times 1,\;512\\ & \ \, 3 \times 3,\;512\;\; \times 3\\ & \ \, 1 \times 1,\;2048 \end{aligned} \right\}\left( {{\text{带孔卷积}} } \right)$L5-imgL5-eleC51/8
    下载: 导出CSV

    表 2  MFPNet模型消融实验结果

    模型mIOUOAF1
    道路建筑物草地树木车辆其它
    Color-E68.9681.770.850.880.720.830.500.59
    MFFNet75.8184.750.890.910.790.870.620.68
    MFPNet77.1085.950.910.960.820.880.760.75
    下载: 导出CSV

    表 3  MFPNet与其他方法的对比结果

    方法mIoUOAF1
    道路建筑物草地树木车辆其它
    FCN59.6579.670.820.860.690.810.560.59
    Deeplab70.8582.750.860.890.720.820.600.61
    PSPNet74.9683.920.900.930.740.810.650.63
    MFPNet77.1085.950.910.960.820.880.760.75
    下载: 导出CSV
  • 加载中
图(3)表(3)
计量
  • PDF下载量:  118
  • 文章访问数:  5636
  • HTML全文浏览量:  2014
文章相关
  • 通讯作者:  张文凯, iecas_wenkai@yahoo.com
  • 收稿日期:  2019-01-17
  • 录用日期:  2019-04-08
  • 网络出版日期:  2019-04-20
  • 刊出日期:  2019-10-01
通讯作者: 陈斌, bchen63@163.com
  • 1. 

    沈阳化工大学材料科学与工程学院 沈阳 110142

  1. 本站搜索
  2. 百度学术搜索
  3. 万方数据库搜索
  4. CNKI搜索

/

返回文章