高级搜索

一种平衡准确性以及高效性的显著性目标检测深度卷积网络模型

张文明 姚振飞 高雅昆 李海滨

引用本文: 张文明, 姚振飞, 高雅昆, 李海滨. 一种平衡准确性以及高效性的显著性目标检测深度卷积网络模型[J]. 电子与信息学报, 2020, 42(5): 1201-1208. doi: 10.11999/JEIT190229 shu
Citation:  Wenming ZHANG, Zhenfei YAO, Yakun GAO, Haibin LI. A Deep Convolutional Network for Saliency Object Detection with Balanced Accuracy and High Efficiency[J]. Journal of Electronics and Information Technology, 2020, 42(5): 1201-1208. doi: 10.11999/JEIT190229 shu

一种平衡准确性以及高效性的显著性目标检测深度卷积网络模型

    作者简介: 张文明: 男,1979年生,副教授,研究方向为工业过程控制、机器视觉;
    姚振飞: 男,1992年生,硕士生,研究方向为机器视觉与图像处理;
    高雅昆: 男,1988年生,博士生,研究方向为机器视觉与图像处理;
    李海滨: 男,1978年生,教授,研究方向为工业过程控制.、机器视觉、人工智能
    通讯作者: 高雅昆,gaoyakun6@163.com
  • 基金项目: 河北省自然科学基金(F2015203212, F2019203195)

摘要: 当前的显著性目标检测算法在准确性和高效性两方面不能实现良好的平衡,针对这一问题,该文提出了一种新的平衡准确性以及高效性的显著性目标检测深度卷积网络模型。首先,通过将传统的卷积替换为可分解卷积,大幅减少计算量,提高检测效率。其次,为了更好地利用不同尺度的特征,采用了稀疏跨层连接结构及多尺度融合结构来提高模型检测精度。广泛的评价表明,与现有方法相比,所提的算法在效率和精度上都取得了领先的性能。

English

    1. [1]

      WANG Lijun, LU Huchuan, RUAN Xiang, et al. Deep networks for saliency detection via local estimation and global search[C]. 2015 IEEE Conference on Computer Vision and Pattern Recognition, Boston, USA, 2015: 3183–3192. doi: 10.1109/CVPR.2015.7298938.

    2. [2]

      LI Guanbin and YU Yizhou. Visual saliency based on multiscale deep features[C]. 2015 IEEE Conference on Computer Vision and Pattern Recognition, Boston, USA, 2015: 5455–5463. doi: 10.1109/CVPR.2015.7299184.

    3. [3]

      LEE G, TAI Y W, and KIM J. Deep saliency with encoded low level distance map and high level features[C]. 2016 IEEE Conference on Computer Vision and Pattern Recognition, Las Vegas, USA, 2016: 660–668. doi: 10.1109/CVPR.2016.78.

    4. [4]

      LIU Nian and HAN Junwei. DHSNet: Deep hierarchical saliency network for salient object detection[C]. 2016 IEEE Conference on Computer Vision and Pattern Recognition, Las Vegas, USA, 2016: 678–686. doi: 10.1109/CVPR.2016.80.

    5. [5]

      WANG Linzhao, WANG Lijun, LU Huchuan, et al. Saliency detection with recurrent fully convolutional networks[C]. The 14th European Conference on Computer Vision, Amsterdam, Netherlands, 2016: 825–841. doi: 10.1007/978-3-319-46493-0_50.

    6. [6]

      ZHANG Xinsheng, GAO Teng, and GAO Dongdong. A new deep spatial transformer convolutional neural network for image saliency detection[J]. Design Automation for Embedded Systems, 2018, 22(3): 243–256. doi: 10.1007/s10617-018-9209-0

    7. [7]

      ZHANG Jing, ZHANG Tong, DAI Yuchao, et al. Deep unsupervised saliency detection: A multiple noisy labeling perspective[C]. 2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition, Salt Lake City, USA, 2018: 9029–9038. doi: 10.1109/CVPR.2018.00941.

    8. [8]

      CAO Feilong, LIU Yuehua, and WANG Dianhui. Efficient saliency detection using convolutional neural networks with feature selection[J]. Information Sciences, 2018, 456: 34–49. doi: 10.1016/j.ins.2018.05.006

    9. [9]

      ZHU Dandan, DAI Lei, LUO Ye, et al. Multi-scale adversarial feature learning for saliency detection[J]. Symmetry, 2018, 10(10): 457–471. doi: 10.3390/sym10100457

    10. [10]

      ZENG Yu, ZHUGE Yunzhi, LU Huchuan, et al. Multi-source weak supervision for saliency detection[C]. 2019 IEEE/CVF Conference on Computer Vision and Pattern Recognition, Long Beach, USA, 2019: 6067–6076.

    11. [11]

      SIMONYAN K and ZISSERMAN A. Very deep convolutional networks for large-scale image recognition[J]. 2014, arXiv: 1409.1556.

    12. [12]

      ALVAREZ J and PETERSSON L. DecomposeMe: Simplifying convNets for end-to-end learning[J]. 2016, arXiv: 1606.05426v1.

    13. [13]

      LIU Tie, YUAN Zejian, SUN Jian, et al. Learning to detect a salient object[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2011, 33(2): 353–367. doi: 10.1109/TPAMI.2010.70

    14. [14]

      YAN Qiong, XU Li, SHI Jianping, et al. Hierarchical saliency detection[C]. 2013 IEEE Conference on Computer Vision and Pattern Recognition, Portland, USA, 2013: 1155–1162. doi: 10.1109/CVPR.2013.153.

    15. [15]

      LI Yin, HOU Xiaodi, KOCH C, et al. The secrets of salient object segmentation[C]. 2014 IEEE Conference on Computer Vision and Pattern Recognition, Columbus, USA, 2014: 280–287. doi: 10.1109/CVPR.2014.43.

    16. [16]

      MOVAHEDI V and ELDER J H. Design and perceptual validation of performance measures for salient object segmentation[C]. 2010 IEEE Computer Society Conference on Computer Vision and Pattern Recognition, San Francisco, USA, 2010: 49–56. doi: 10.1109/CVPRW.2010.5543739.

    17. [17]

      LI Guanbin and YU Yizhou. Deep contrast learning for salient object detection[C]. 2016 IEEE Conference on Computer Vision and Pattern Recognition, Las Vegas, USA, 2016: 478–487. doi: 10.1109/CVPR.2016.58.

    18. [18]

      LUO Zhiming, MISHRA A, ACHKAR A, et al. Non-local deep features for salient object detection[C]. 2017 IEEE Conference on Computer Vision and Pattern Recognition, Honolulu, USA, 2017: 6593–6601. doi: 10.1109/CVPR.2017.698.

    19. [19]

      TU W C, HE Shengfeng, YANG Qingxiong, et al. Real-time salient object detection with a minimum spanning tree[C]. 2016 IEEE Conference on Computer Vision and Pattern Recognition, Las Vegas, USA, 2016: 2334–2342. doi: 10.1109/CVPR.2016.256.

    20. [20]

      LI Xiaohui, LU Huchuan, ZHANG Lihe, et al. Saliency detection via dense and sparse reconstruction[C]. 2013 IEEE International Conference on Computer Vision, Sydney, Australia, 2013: 2976–2983. doi: 10.1109/ICCV.2013.370.

    1. [1]

      柳长源, 王琪, 毕晓君. 基于多通道多尺度卷积神经网络的单幅图像去雨方法. 电子与信息学报, 2020, 42(0): 1-8.

    2. [2]

      刘政怡, 刘俊雷, 赵鹏. 基于样本选择的RGBD图像协同显著目标检测. 电子与信息学报, 2020, 42(0): 1-8.

    3. [3]

      付晓薇, 杨雪飞, 陈芳, 李曦. 一种基于深度学习的自适应医学超声图像去斑方法. 电子与信息学报, 2020, 42(7): 1782-1789.

    4. [4]

      游凌, 李伟浩, 张文林, 王科人. 基于深度神经网络的Morse码自动译码算法. 电子与信息学报, 2020, 41(0): 1-6.

    5. [5]

      赵斌, 王春平, 付强. 显著性背景感知的多尺度红外行人检测方法. 电子与信息学报, 2020, 42(0): 1-9.

    6. [6]

      张惊雷, 厚雅伟. 基于改进循环生成式对抗网络的图像风格迁移. 电子与信息学报, 2020, 42(5): 1216-1222.

    7. [7]

      王粉花, 赵波, 黄超, 严由齐. 基于多尺度和注意力融合学习的行人重识别. 电子与信息学报, 2020, 42(0): 1-8.

    8. [8]

      申铉京, 沈哲, 黄永平, 王玉. 基于非局部操作的深度卷积神经网络车位占用检测算法. 电子与信息学报, 2020, 41(0): 1-8.

    9. [9]

      缪祥华, 单小撤. 基于密集连接卷积神经网络的入侵检测技术研究. 电子与信息学报, 2020, 41(0): 1-7.

    10. [10]

      徐少平, 林珍玉, 崔燕, 刘蕊蕊, 杨晓辉. 采用双通道卷积神经网络构建的随机脉冲噪声深度降噪模型. 电子与信息学报, 2020, 41(0): 1-8.

    11. [11]

      唐伦, 曹睿, 廖皓, 王兆堃. 基于深度强化学习的服务功能链可靠部署算法. 电子与信息学报, 2020, 42(0): 1-8.

    12. [12]

      陈卓, 冯钢, 何颖, 周杨. 运营商网络中基于深度强化学习的服务功能链迁移机制. 电子与信息学报, 2020, 42(0): 1-7.

    13. [13]

      雷大江, 张策, 李智星, 吴渝. 基于多流融合生成对抗网络的遥感图像融合方法. 电子与信息学报, 2020, 41(0): 1-8.

    14. [14]

      陈前斌, 管令进, 李子煜, 王兆堃, 杨恒, 唐伦. 基于深度强化学习的异构云无线接入网自适应无线资源分配算法. 电子与信息学报, 2020, 42(6): 1468-1477.

    15. [15]

      王茜竹, 方冬, 吴广富. 基于改进稀疏度自适应匹配算法的免授权非正交多址接入上行传输多用户检测. 电子与信息学报, 2020, 42(0): 1-7.

    16. [16]

      刘坤, 吴建新, 甄杰, 王彤. 基于阵列天线和稀疏贝叶斯学习的室内定位方法. 电子与信息学报, 2020, 42(5): 1158-1164.

    17. [17]

      易诗, 吴志娟, 朱竞铭, 李欣荣, 袁学松. 基于多尺度生成对抗网络的运动散焦红外图像复原. 电子与信息学报, 2020, 42(7): 1766-1773.

    18. [18]

      胡永健, 高逸飞, 刘琲贝, 廖广军. 基于图像分割网络的深度假脸视频篡改检测. 电子与信息学报, 2020, 42(0): 1-9.

    19. [19]

      刘小燕, 李照明, 段嘉旭, 项天远. 基于卷积神经网络的印刷电路板板色环电阻检测与定位方法. 电子与信息学报, 2020, 41(0): 1-10.

    20. [20]

      夏平凡, 倪志伟, 朱旭辉, 倪丽萍. 基于双错测度的极限学习机选择性集成方法. 电子与信息学报, 2020, 42(0): 1-9.

  • 图 1  整体框架图

    图 2  卷积分解示意图

    图 3  直连与稀疏跨层连接网络结构对比图

    图 4  不同连接结构效果对比图

    图 5  多尺度融合示意图

    图 6  不同模型视觉对比图

    图 7  5种数据集上不同算法P-R曲线图

    表 1  不同卷积结构对比

    结构参数量(106)准确率(%)使用时间(s)
    2维卷积5.1689.30.026
    分解卷积3.7589.70.017
    下载: 导出CSV

    表 2  不同卷积结构对比

    结构准确率(%)使用时间(s)
    无跨层连接89.70.017
    跨层连接91.70.023
    下载: 导出CSV

    表 3  整体网络结构详表

    结构名称类型输出尺寸输出编号结构名称类型输出尺寸输出编号
    convblock1reconv$ \times $2448$ \times $448$ \times $161cross-layerconv3rate=12224$ \times $224$ \times $256$5" $
    cross-layerconv3rate=16448$ \times $448$ \times $32$1' $convblock4maxpool下采样
    cross-layerconv3rate=24448$ \times $448$ \times $256$1'' $reconv$ \times $356$ \times $56$ \times $1286
    convblock2maxpool下采样concat3融合56$ \times $56$ \times $256$(5'+6) $
    reconv$ \times $2224$ \times $224$ \times $322conv1降维56$ \times $56$ \times $1287
    concat1融合224$ \times $224$ \times $64$(1'+2) $cross-layerconv3rate=656$ \times $56$ \times $256$7'' $
    conv1降维224$ \times $224$ \times $323convblock5maxpool下采样
    cross-layerconv3rate=8224$ \times $224$ \times $64$3′ $reconv$ \times $328$ \times $28$ \times $2568
    cross-layerconv3rate=18224$ \times $224$ \times $256$3" $concat4融合28$ \times $28$ \times $1280$(1''+3''+5''+7''+8) $
    convblock3maxpool下采样conv1降维28$ \times $28$ \times $2569
    reconv$ \times $3112$ \times $112$ \times $644upblock1deconv上采样
    concat2融合112$ \times $112$ \times $128$(3'+4) $reconv$ \times $3112$ \times $112$ \times $64
    conv1降维112$ \times $112$ \times $645upblock2deconv上采样448$ \times $448$ \times $2final
    ross-layerconv3rate=4224$ \times $224$ \times $128$5' $
    下载: 导出CSV

    表 4  F-measure(F-m)和MAE得分表

    算法MSRAECSSDPASCAL-SSODHKU-IS
    F-mMAE F-mMAE F-mMAE F-mMAE F-mMAE
    本文方法0.9140.0450.8930.0600.8140.1130.8320.1190.8930.036
    DCL0.9050.0520.8900.0880.8050.1250.8200.1390.8850.072
    ELD0.9040.0620.8670.0800.7710.1210.7600.1540.8390.074
    NLDF0.9110.0480.9050.0630.8310.0990.8100.1430.9020.048
    MST0.8390.1280.6530.1710.5840.236
    DSR0.8120.1190.7370.1730.6460.2040.6550.2340.7350.140
    下载: 导出CSV

    表 5  不同算法处理时间对比(s)

    模型本文方法DCLELDNLDFMSTDSR
    时间0.0231.2000.3000.0800.02513.580
    环境GTX1080GTX1080GTX1080Titan Xi7 CPUi7 CPU
    尺寸448$ \times $448300$ \times $400400$ \times $300300$ \times $400300$ \times $400400$ \times $300
    下载: 导出CSV
  • 加载中
图(7)表(5)
计量
  • PDF下载量:  55
  • 文章访问数:  1917
  • HTML全文浏览量:  2715
文章相关
  • 通讯作者:  高雅昆, gaoyakun6@163.com
  • 收稿日期:  2019-04-08
  • 录用日期:  2019-08-30
  • 网络出版日期:  2020-01-21
  • 刊出日期:  2020-05-01
通讯作者: 陈斌, bchen63@163.com
  • 1. 

    沈阳化工大学材料科学与工程学院 沈阳 110142

  1. 本站搜索
  2. 百度学术搜索
  3. 万方数据库搜索
  4. CNKI搜索

/

返回文章