高级搜索

一种平衡准确性以及高效性的显著性目标检测深度卷积网络模型

张文明 姚振飞 高雅昆 李海滨

引用本文: 张文明, 姚振飞, 高雅昆, 李海滨. 一种平衡准确性以及高效性的显著性目标检测深度卷积网络模型[J]. 电子与信息学报, doi: 10.11999/JEIT190229 shu
Citation:  Wenming ZHANG, Zhenfei YAO, Yakun GAO, Haibin LI. A Deep Convolutional Network for Saliency Object Detection with Balanced Accuracy and High Efficiency[J]. Journal of Electronics and Information Technology, doi: 10.11999/JEIT190229 shu

一种平衡准确性以及高效性的显著性目标检测深度卷积网络模型

    作者简介: 张文明: 男,1979年生,副教授,研究方向为工业过程控制、机器视觉;
    姚振飞: 男,1992年生,硕士生,研究方向为机器视觉与图像处理;
    高雅昆: 男,1988年生,博士生,研究方向为机器视觉与图像处理;
    李海滨: 男,1978年生,教授,研究方向为工业过程控制.、机器视觉、人工智能
    通讯作者: 高雅昆,gaoyakun6@163.com
  • 基金项目: 河北省自然科学基金(F2015203212, F2019203195)

摘要: 当前的显著性目标检测算法在准确性和高效性两方面不能实现良好的平衡,针对这一问题,该文提出了一种新的平衡准确性以及高效性的显著性目标检测深度卷积网络模型。首先,通过将传统的卷积替换为可分解卷积,大幅减少计算量,提高检测效率。其次,为了更好地利用不同尺度的特征,采用了稀疏跨层连接结构及多尺度融合结构来提高模型检测精度。广泛的评价表明,与现有方法相比,提出的算法在效率和精度上都取得了领先的性能。

English

    1. [1]

      WANG Lijun, LU Huchuan, RUAN Xiang, et al. Deep networks for saliency detection via local estimation and global search[C]. Proceedings of 2015 IEEE Conference on Computer Vision and Pattern Recognition, Boston, USA, 2015: 3183–3192. doi: 10.1109/CVPR.2015.7298938.

    2. [2]

      LI Guanbin and YU Yizhou. Visual saliency based on multiscale deep features[C]. Proceedings of 2015 IEEE Conference on Computer Vision and Pattern Recognition, Boston, USA, 2015: 5455–5463. doi: 10.1109/CVPR.2015.7299184.

    3. [3]

      LEE G, TAI Y W, and KIM J. Deep saliency with encoded low level distance map and high level features[C]. Proceedings of 2016 IEEE Conference on Computer Vision and Pattern Recognition, Las Vegas, USA, 2016: 660–668. doi: 10.1109/CVPR.2016.78.

    4. [4]

      LIU Nian and HAN Junwei. DHSNet: Deep hierarchical saliency network for salient object detection[C]. Proceedings of 2016 IEEE Conference on Computer Vision and Pattern Recognition, Las Vegas, USA, 2016: 678–686. doi: 10.1109/CVPR.2016.80.

    5. [5]

      WANG Linzhao, WANG Lijun, LU Huchuan, et al. Saliency detection with recurrent fully convolutional networks[C]. Proceedings of the 14th European Conference on Computer Vision, Amsterdam, 2016: 825–841. doi: 10.1007/978-3-319-46493-0_50.

    6. [6]

      ZHANG Xinsheng, GAO Teng, and GAO Dongdong. A new deep spatial transformer convolutional neural network for image saliency detection[J]. Design Automation for Embedded Systems, 2018, 22(3): 243–256. doi: 10.1007/s10617-018-9209-0

    7. [7]

      ZHANG Jing, ZHANG Tong, DAI Yuchao, et al. Deep unsupervised saliency detection: A multiple noisy labeling perspective[C]. Proceedings of 2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition, Salt Lake City, USA, 2018: 9029–9038. doi: 10.1109/CVPR.2018.00941.

    8. [8]

      CAO Feilong, LIU Yuehua, and WANG Dianhui. Efficient saliency detection using convolutional neural networks with feature selection[J]. Information Sciences, 2018, 456: 34–49. doi: 10.1016/j.ins.2018.05.006

    9. [9]

      ZHU Dandan, DAI Lei, LUO Ye, et al. Multi-scale adversarial feature learning for saliency detection[J]. Symmetry, 2018, 10(10): 457. doi: 10.3390/sym10100457

    10. [10]

      ZENG Yu, ZHUGE Yunzhi, LU Huchuan, et al. Multi-source weak supervision for saliency detection[C]. Proceedings of 2019 IEEE/CVF Conference on Computer Vision and Pattern Recognition, Long Beach, USA, 2019: 6067–6076.

    11. [11]

      SIMONYAN K and ZISSERMAN A. Very deep convolutional networks for large-scale image recognition[J]. arXiv: 1409.1556, 2014. (请核对文献类型)

    12. [12]

      ALVAREZ J and PETERSSON L. DecomposeMe: Simplifying convNets for end-to-end learning[J]. arXiv: 1606.05426v1, 2016. (请核对文献类型)

    13. [13]

      LIU Tie, YUAN Zejian, SUN Jian, et al. Learning to detect a salient object[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2011, 33(2): 353–367. doi: 10.1109/TPAMI.2010.70

    14. [14]

      YAN Qiong, XU Li, SHI Jianping, et al. Hierarchical saliency detection[C]. Proceedings of 2013 IEEE Conference on Computer Vision and Pattern Recognition, Portland, USA, 2013: 1155–1162. doi: 10.1109/CVPR.2013.153.

    15. [15]

      LI Yin, HOU Xiaodi, KOCH C, et al. The secrets of salient object segmentation[C]. Proceedings of 2014 IEEE Conference on Computer Vision and Pattern Recognition, Columbus, USA, 2014: 280–287. doi: 10.1109/CVPR.2014.43.

    16. [16]

      MOVAHEDI V and ELDER J H. Design and perceptual validation of performance measures for salient object segmentation[C]. Proceedings of 2010 IEEE Computer Society Conference on Computer Vision and Pattern Recognition, San Francisco, USA, 2010: 49–56. doi: 10.1109/CVPRW.2010.5543739.

    17. [17]

      LI Guanbin and YU Yizhou. Deep contrast learning for salient object detection[C]. Proceedings of 2016 IEEE Conference on Computer Vision and Pattern Recognition, Las Vegas, USA, 2016: 478–487. doi: 10.1109/CVPR.2016.58.

    18. [18]

      LUO Zhiming, MISHRA A, ACHKAR A, et al. Non-local deep features for salient object detection[C]. Proceedings of 2017 IEEE Conference on Computer Vision and Pattern Recognition, Honolulu, USA, 2017: 6593–6601. doi: 10.1109/CVPR.2017.698.

    19. [19]

      TU W C, HE Shengfeng, YANG Qingxiong, et al. Real-time salient object detection with a minimum spanning tree[C]. Proceedings of 2016 IEEE Conference on Computer Vision and Pattern Recognition, Las Vegas, USA, 2016: 2334–2342. doi: 10.1109/CVPR.2016.256.

    20. [20]

      LI Xiaohui, LU Huchuan, ZHANG Lihe, et al. Saliency detection via dense and sparse reconstruction[C]. Proceedings of 2013 IEEE International Conference on Computer Vision, Sydney, Australia, 2013: 2976–2983. doi: 10.1109/ICCV.2013.370.

    1. [1]

      罗会兰, 万成涛, 孔繁胜. 基于KL散度及多尺度融合的显著性区域检测算法. 电子与信息学报,

    2. [2]

      程帅, 孙俊喜, 曹永刚, 刘广文, 韩广良. 多示例深度学习目标跟踪. 电子与信息学报,

    3. [3]

      吴泽民, 王军, 胡磊, 田畅, 曾明勇, 杜麟. 基于卷积神经网络与全局优化的协同显著性检测. 电子与信息学报,

    4. [4]

      董书琴, 张斌. 基于深度特征学习的网络流量异常检测方法. 电子与信息学报,

    5. [5]

      王晨, 樊养余, 李波. 基于鲁棒前景选择的显著性检测. 电子与信息学报,

    6. [6]

      侯志强, 王鑫, 余旺盛, 戴铂, 金泽芬芬. 基于自适应深度稀疏网络的在线跟踪算法. 电子与信息学报,

    7. [7]

      杨宏宇, 王峰岩. 基于深度卷积神经网络的气象雷达噪声图像语义分割方法. 电子与信息学报,

    8. [8]

      袁野, 贾克斌, 刘鹏宇. 基于深度卷积神经网络的多元医学信号多级上下文自编码器. 电子与信息学报,

    9. [9]

      叶锋, 李婉茹, 陈家祯, 郑子华. 基于显著性区域检测和水平集的图像快速分割算法. 电子与信息学报,

    10. [10]

      唐红梅, 吴士婧, 郭迎春, 裴亚男. 自适应阈值分割与局部背景线索结合的显著性检测. 电子与信息学报,

    11. [11]

      余映, 吴青龙, 邵凯旋, 康迂星, 杨鉴. 超复数域小波变换的显著性检测. 电子与信息学报,

    12. [12]

      唐红梅, 王碧莹, 韩力英, 周亚同. 基于目标紧密性与区域同质性策略的图像显著性检测. 电子与信息学报,

    13. [13]

      李祖贺, 樊养余, 王凤琴. YUV空间中基于稀疏自动编码器的无监督特征学习. 电子与信息学报,

    14. [14]

      张烨, 许艇, 冯定忠, 蒋美仙, 吴光华. 基于难分样本挖掘的快速区域卷积神经网络目标检测研究. 电子与信息学报,

    15. [15]

      韩铮, 肖志涛. 基于纹元森林和显著性先验的弱监督图像语义分割方法. 电子与信息学报,

    16. [16]

      冯浩, 黄坤, 李晶, 高榕, 刘东华, 宋成芳. 基于深度学习的混合兴趣点推荐算法. 电子与信息学报,

    17. [17]

      李彩林, 张青华, 陈文贺, 江晓斌, 袁斌, 杨长磊. 基于深度学习的绝缘子定向识别算法. 电子与信息学报,

    18. [18]

      文成林, 吕菲亚. 基于深度学习的故障诊断方法综述. 电子与信息学报,

    19. [19]

      张淑军, 张群, 李辉. 基于深度学习的手语识别综述. 电子与信息学报,

    20. [20]

      李寰宇, 毕笃彦, 查宇飞, 杨源. 一种易于初始化的类卷积神经网络视觉跟踪算法. 电子与信息学报,

  • 图 1  整体框架图

    图 2  卷积分解示意图

    图 3  直连与稀疏跨层连接网络结构对比图

    图 4  不同连接结构效果对比图

    图 5  多尺度融合示意图

    图 6  不同模型视觉对比图

    图 7  5种数据集上不同算法P-R曲线图

    表 1  不同卷积结构对比

    结构参数量(106)准确率(%)使用时间(s)
    2维卷积5.1689.30.026
    分解卷积3.7589.70.017
    下载: 导出CSV

    表 2  不同卷积结构对比

    结构准确率(%)使用时间(s)
    无跨层连接89.70.017
    跨层连接91.70.023
    下载: 导出CSV

    表 3  整体网络结构详表

    结构名称类型输出尺寸输出编号结构名称类型输出尺寸输出编号
    convblock1reconv$ \times $2448$ \times $448$ \times $161cross-layerconv3rate=12224$ \times $224$ \times $256$5" $
    cross-layerconv3rate=16448$ \times $448$ \times $32$1' $convblock4maxpool下采样
    cross-layerconv3rate=24448$ \times $448$ \times $256$1'' $reconv$ \times $356$ \times $56$ \times $1286
    convblock2maxpool下采样concat3融合56$ \times $56$ \times $256$(5'+6) $
    reconv$ \times $2224$ \times $224$ \times $322conv1降维56$ \times $56$ \times $1287
    concat1融合224$ \times $224$ \times $64$(1'+2) $cross-layerconv3rate=656$ \times $56$ \times $256$7'' $
    conv1降维224$ \times $224$ \times $323convblock5maxpool下采样
    cross-layerconv3rate=8224$ \times $224$ \times $64$3′ $reconv$ \times $328$ \times $28$ \times $2568
    cross-layerconv3rate=18224$ \times $224$ \times $256$3" $concat4融合28$ \times $28$ \times $1280$(1''+3''+5''+7''+8) $
    convblock3maxpool下采样conv1降维28$ \times $28$ \times $2569
    reconv$ \times $3112$ \times $112$ \times $644upblock1deconv上采样
    concat2融合112$ \times $112$ \times $128$(3'+4) $reconv$ \times $3112$ \times $112$ \times $64
    conv1降维112$ \times $112$ \times $645upblock2deconv上采样448$ \times $448$ \times $2final
    ross-layerconv3rate=4224$ \times $224$ \times $128$5' $
    下载: 导出CSV

    表 4  F-measure(F-m)和MAE得分表

    算法MSRAECSSDPASCAL-SSODHKU-IS
    F-mMAE F-mMAE F-mMAE F-mMAE F-mMAE
    本文方法0.9140.0450.8930.0600.8140.1130.8320.1190.8930.036
    DCL0.9050.0520.8900.0880.8050.1250.8200.1390.8850.072
    ELD0.9040.0620.8670.0800.7710.1210.7600.1540.8390.074
    NLDF0.9110.0480.9050.0630.8310.0990.8100.1430.9020.048
    MST0.8390.1280.6530.1710.5840.236----
    DSR0.8120.1190.7370.1730.6460.2040.6550.2340.7350.140
    下载: 导出CSV

    表 5  不同算法处理时间对比(s)

    模型本文方法DCLELDNLDFMSTDSR
    时间0.0231.2000.3000.0800.02513.580
    环境GTX1080GTX1080GTX1080Titan Xi7 CPUi7 CPU
    尺寸448$ \times $448300$ \times $400400$ \times $300300$ \times $400300$ \times $400400$ \times $300
    下载: 导出CSV
  • 加载中
图(7)表(5)
计量
  • PDF下载量:  8
  • 文章访问数:  101
  • HTML全文浏览量:  73
文章相关
  • 通讯作者:  高雅昆, gaoyakun6@163.com
  • 收稿日期:  2019-04-08
  • 录用日期:  2019-08-30
  • 网络出版日期:  2020-01-29
通讯作者: 陈斌, bchen63@163.com
  • 1. 

    沈阳化工大学材料科学与工程学院 沈阳 110142

  1. 本站搜索
  2. 百度学术搜索
  3. 万方数据库搜索
  4. CNKI搜索

/

返回文章