高级搜索

留言板

尊敬的读者、作者、审稿人, 关于本刊的投稿、审稿、编辑和出版的任何问题, 您可以本页添加留言。我们将尽快给您答复。谢谢您的支持!

姓名
邮箱
手机号码
标题
留言内容
验证码

引入全局上下文特征模块的DenseNet孪生网络目标跟踪

谭建豪 殷旺 刘力铭 王耀南

谭建豪, 殷旺, 刘力铭, 王耀南. 引入全局上下文特征模块的DenseNet孪生网络目标跟踪[J]. 电子与信息学报. doi: 10.11999/JEIT190788
引用本文: 谭建豪, 殷旺, 刘力铭, 王耀南. 引入全局上下文特征模块的DenseNet孪生网络目标跟踪[J]. 电子与信息学报. doi: 10.11999/JEIT190788
Jianhao TAN, Wang YIN, Liming LIU, Yaonan WANG. DenseNet-siamese Network with Global Context Feature Module for Object Tracking[J]. Journal of Electronics and Information Technology. doi: 10.11999/JEIT190788
Citation: Jianhao TAN, Wang YIN, Liming LIU, Yaonan WANG. DenseNet-siamese Network with Global Context Feature Module for Object Tracking[J]. Journal of Electronics and Information Technology. doi: 10.11999/JEIT190788

引入全局上下文特征模块的DenseNet孪生网络目标跟踪

doi: 10.11999/JEIT190788
详细信息
    作者简介:

    谭建豪:男,1962年生,教授,硕士生导师,研究方向为计算机视觉、飞行机器人、模式识别

    殷旺:男,1995年生,硕士生,研究方向为计算机视觉、目标跟踪

    刘力铭:男,1996年生,硕士生,研究方向为计算机视觉、目标跟踪、图像分割

    王耀南:男,1957年生,教授,博士生导师,研究方向为智能控制、模式识别技术等

    通讯作者:

    殷旺 yinwang@hnu.edu.cn

  • 中图分类号: TP391.41

DenseNet-siamese Network with Global Context Feature Module for Object Tracking

  • 摘要: 近年来,采用孪生网络提取深度特征的方法由于其较好的跟踪精度和速度,成为目标跟踪领域的研究热点之一,但传统的孪生网络并未提取目标较深层特征来保持泛化性能,并且大多数孪生网络只提取局部领域特征,这使得模型对于外观变化是非鲁棒和局部的。针对此,该文提出一种引入全局上下文特征模块的DenseNet孪生网络目标跟踪算法。该文创新性的将DenseNet网络作为孪生网络骨干,采用一种新的密集型特征重用连接网络设计方案,在构建更深层网络的同时减少了层之间的参数量,提高了算法的性能,此外,为应对目标跟踪过程中的外观变化,该文将全局上下文特征模块(GC-Model)嵌入孪生网络分支,提升算法跟踪精度。在VOT2017和OTB50数据集上的实验结果表明,与当前较为主流的算法相比,该文算法在跟踪精度和鲁棒性上有明显优势,在尺度变化、低分辨率、遮挡等情况下具有良好的跟踪效果,且达到实时跟踪要求。
  • 图  1  DenseNet的网络结构

    图  2  两种长距离依赖模型图

    图  3  全局上下文GC-Model模块

    图  4  孪生网络目标跟踪框架图

    图  5  SD-GCNet算法框架

    图  6  本文算法与4种算法的跟踪结果对比

    表  1  网络结构

    Layers模板分支搜索分支输出
    卷积7$* $7Conv, stride 27$* $7Conv, stride 261$* $61$* $72
    密集连接11$* $1Conv $* $2 +3$* $3Conv$* $21$* $1Conv $* $2+3$* $3Conv$* $261$* $61$* $144
    过渡层11*1Conv+average pool1*1Conv+average pool30$* $30$* $36
    密集连接21$* $1Conv $* $4+3$* $3Conv$* $41$* $1Conv $* $4+3$* $3Conv$* $430$* $30$* $180
    过渡层21*1Conv+average pool1*1Conv+average pool15$* $15$* $36
    密集连接31$* $1Conv $* $6+3$* $3Conv$* $61$* $1Conv $* $6+3$* $3Conv$* $615$* $15$* $252
    密集连接33$* $3Conv$* $33$* $3Conv$* $39$* $9$* $128
    GC-Model图3图39$* $9$* $128
    下载: 导出CSV

    表  2  在VOT2017数据集上与主流算法的基础模型结果对比

    跟踪算法精确度鲁棒性平均重叠期望
    本文算法0.54420.0900.297
    SiamFC0.50034.0310.188
    SiamVGG0.52520.4530.287
    DCFNet0.46535.2020.183
    SRDCF0.48064.1140.119
    DeepCSRDCF0.48319.0070.293
    Staple0.52444.0190.169
    下载: 导出CSV

    表  3  不同属性下算法的跟踪精度对比

    跟踪算法相机移动目标丢失光照变化运动变化目标遮挡尺度变化
    本文算法0.5610.5620.5430.5540.4610.543
    SiamFC0.5130.5130.5560.5140.4160.474
    SiamVGG0.5420.5310.5380.5400.4420.514
    DCFNet0.4850.4720.5320.4640.3770.450
    SRDCF0.4840.5110.5880.4530.4190.447
    Staple0.5540.5280.53710.5230.4590.492
    下载: 导出CSV

    表  4  不同属性下算法的跟踪鲁棒性对比(数字表示失败次数)

    跟踪算法相机移动目标丢失光照变化运动变化目标遮挡尺度变化
    本文算法29.018.03.016.022.011.0
    SiamFC40.031.05.042.032.025.0
    SiamVGG35.015.02.015.019.011.0
    DCFNet50.034.08.031.024.021.0
    SRDCF76.086.09.049.032.029.0
    Staple62.053.05.027.027.017.0
    下载: 导出CSV

    表  5  OTB50中测试序列与其影响因素

    测试序列帧数影响因素
    Bolt18快速移动、相机移动、尺度变化等
    carDark244~363运动模糊、低分辨率、背景杂波等
    Ironman38平面内旋转、快速运动、光照变化等
    Shaking55光照变化、背景模糊等
    Jogging-253遮挡
    下载: 导出CSV
  • [1] 孙彦景, 石韫开, 云霄, 等. 基于多层卷积特征的自适应决策融合目标跟踪算法[J]. 电子与信息学报, 2019, 41(10): 2464–2470. doi:  10.11999/JEIT180971

    SUN Yanjing, SHI Yunkai, YUN Xiao, et al. Adaptive strategy fusion target tracking based on multi-layer convolutional features[J]. Journal of Electronics &Information Technology, 2019, 41(10): 2464–2470. doi:  10.11999/JEIT180971
    [2] HENRIQUE J F, CASEIRO R, MARTINS P, et al. High-speed tracking with kernelized correlation filters[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2015, 37(3): 583–596. doi:  10.1109/tpami.2014.2345390
    [3] DANELLJAN M, HÄGER G, KHAN F S, et al. Learning spatially regularized correlation filters for visual tracking[C]. 2015 IEEE International Conference on Computer Vision, Santiago, Chile, 2015: 4310–4318.
    [4] BERTINETTO L, VALMADRE J, HENRIQUES J F, et al. Fully-convolutional Siamese networks for object tracking[C]. European Conference on Computer Vision, Amsterdam, The Netherlands, 2016: 850–865. doi: 10.1007/978-3-319-48881-3_56.
    [5] VALMADRE J, BERTINETTO L, HENRIQUES J, et al. End-to-end representation learning for correlation filter based tracking[C]. 2017 IEEE Conference on Computer Vision and Pattern Recognition, Honolulu, USA, 2017: 5000–5008. doi: 10.1109/CVPR.2017.531.
    [6] GUO Qing, WEI Feng, ZHOU Ce, et al. Learning dynamic Siamese network for visual object tracking[C]. 2017 IEEE International Conference on Computer Vision, Venice, Italy, 2017: 1781–1789. doi: 10.1109/ICCV.2017.196.
    [7] HE Anfeng, LUO Chong, TIAN Xinmei, et al. A twofold siamese network for real-time object tracking[C]. 2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition, Salt Lake City, USA, 2018: 4834–4843. doi: 10.1109/CVPR.2018.00508.
    [8] HE Kaiming, ZHANG Xiangyu, REN Shaoqing, et al. Deep residual learning for image recognition[C]. 2016 IEEE Conference on Computer Vision and Pattern Recognition, Las Vegas, USA, 2016: 770–778. doi: 10.1109/CVPR.2016.90.
    [9] SZEGEDY C, VANHOUCKE V, IOFFE S, et al. Rethinking the inception architecture for computer vision[C]. 2016 IEEE Conference on Computer Vision and Pattern Recognition, Las Vegas, USA, 2016: 2818–2826. doi: 10.1109/CVPR.2016.308.
    [10] 侯志强, 陈立琳, 余旺盛, 等. 基于双模板Siamese网络的鲁棒视觉跟踪算法[J]. 电子与信息学报, 2019, 41(9): 2247–2255. doi:  10.11999/JEIT181018

    HOU Zhiqiang, CHEN Lilin, YU Wangsheng, et al. Robust visual tracking algorithm based on Siamese network with dual templates[J]. Journal of Electronics &Information Technology, 2019, 41(9): 2247–2255. doi:  10.11999/JEIT181018
    [11] WANG Xiaolong, GIRSHICK R, GUPTA A, et al. Non-local neural networks[C]. 2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition, Salt Lake City, USA, 2018: 7794–7803. doi: 10.1109/CVPR.2018.00813.
    [12] HU Jie, SHEN Li, and SUN Gang. Squeeze-and-excitation networks[C]. 2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition, Salt Lake City, USA, 2018: 7132–7141. doi: 10.1109/CVPR.2018.00745.
    [13] HU Jie, SHEN Li, ALBANIE S, et al. Gather-excite: Exploiting feature context in convolutional neural networks[C]. The 32nd International Conference on Neural Information Processing Systems, Montréal, Canada, 2018: 9423–9433.
    [14] CAO Yue, XU Jiarui, LIN S, et al. GCNet: Non-local networks meet squeeze-excitation networks and beyond[C]. 2019 IEEE/CVF International Conference on Computer Vision Workshop, Seoul, Korea (South), 2019: 1971–1980. doi: 10.1109/ICCVW.2019.00246.
    [15] 刘畅, 赵巍, 刘鹏, 等. 目标跟踪中辅助目标的选择、跟踪与更新[J]. 自动化学报, 2018, 44(7): 1195–1211.

    LIU Chang, ZHAO Wei, LIU Peng, et al. Auxiliary objects selecting, tracking and updating in target tracking[J]. Acta Automatica Sinica, 2018, 44(7): 1195–1211.
    [16] ABDELPAKEY M H, SHEHATA M S, and MOHAMED M M. DensSiam: End-to-end densely-Siamese network with self-attention model for object tracking[C]. The 13th International Symposium on Visual Computing, Las Vegas, USA, 2018: 463–473.
    [17] KRISTAN M, LEONARDIS A, MATAS J, et al. The visual object tracking VOT2017 challenge results[C]. 2017 IEEE International Conference on Computer Vision, Venice, Italy, 2017: 1949–1972. doi: 10.1109/ICCVW.2017.230.
    [18] LI Yuhong and ZHANG Xiaofan. SiamVGG: Visual tracking using deeper Siamese networks[J]. arXiv: 1902.02804, 2019.
    [19] WANG Qiang, GAO Jin, XING Junliang, et al.. Dcfnet: Discriminant correlation filters network for visual tracking[J]. arXiv: 1704.04057, 2017.
    [20] BERTINETTO L, VALMADRE J, GOLODETZ S, et al. Staple: Complementary learners for real-time tracking[C]. 2016 IEEE Conference on Computer Vision and Pattern Recognition, Las Vegas, USA, 2016: 1401–1409. doi: 10.1109/CVPR.2016.156.
    [21] HARE S, GOLODETZ S, SAFFARI A, et al. Struck: Structured output tracking with kernels[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2016, 38(10): 2096–2109. doi:  10.1109/TPAMI.2015.2509974
    [22] WU Yi, LIM J, and YANG M H. Online object tracking: A benchmark[C]. 2013 IEEE Conference on Computer Vision and Pattern Recognition, Portland, USA, 2013: 2411–2418. doi: 10.1109/CVPR.2013.312.
  • [1] 谢涛, 吴恩斯.  一种鲁棒的基于集成学习的核相关红外目标跟踪算法, 电子与信息学报. 2018, 40(3): 602-609. doi: 10.11999/JEIT170527
    [2] 许红, 袁华东, 谢文冲, 刘维建, 王永良.  角闪烁下基于变分贝叶斯-交互式多模型的目标跟踪, 电子与信息学报. 2018, 40(7): 1583-1590. doi: 10.11999/JEIT171025
    [3] 刘大千, 刘万军, 费博雯.  局部感知下的稀疏优化目标跟踪方法, 电子与信息学报. 2018, 40(2): 272-281. doi: 10.11999/JEIT170473
    [4] 李雅倩, 贾璐, 李海滨, 张文明, 张岩松.  基于压缩特征的鱼眼视频目标跟踪算法研究, 电子与信息学报. 2018, 40(5): 1242-1249. doi: 10.11999/JEIT170745
    [5] 冉晓旻, 方德亮.  基于势博弈的分布式目标跟踪传感器分配算法, 电子与信息学报. 2017, 39(11): 2748-2754. doi: 10.11999/JEIT170229
    [6] 王玉玺, 黄国策, 李伟, 王叶群.  基于非单调递增频率偏移的混合相控阵MIMO雷达目标跟踪方法, 电子与信息学报. 2017, 39(1): 110-116. doi: 10.11999/JEIT160134
    [7] 田鹏, 吕江花, 马世龙, 汪溁鹤.  基于局部差别性分析的目标跟踪算法, 电子与信息学报. 2017, 39(11): 2635-2643. doi: 10.11999/JEIT170045
    [8] 金广智, 石林锁, 崔智高, 刘浩, 牟伟杰.  结合GLCM与三阶张量建模的在线目标跟踪, 电子与信息学报. 2016, 38(7): 1609-1615. doi: 10.11999/JEIT151108
    [9] 金广智, 石林锁, 刘浩, 牟伟杰, 蔡艳平.  结合PLS表示与随机梯度的目标优化跟踪, 电子与信息学报. 2016, 38(8): 2027-2032. doi: 10.11999/JEIT151082
    [10] 毕笃彦, 库涛, 查宇飞, 张立朝, 杨源.  基于颜色属性直方图的尺度目标跟踪算法研究, 电子与信息学报. 2016, 38(5): 1099-1106. doi: 10.11999/JEIT150921
    [11] 吴正平, 杨杰, 崔晓梦, 张庆年.  融合L2范数最小化和压缩Haar-like特征匹配的快速目标跟踪, 电子与信息学报. 2016, 38(11): 2803-2810. doi: 10.11999/JEIT160122
    [12] 李少毅, 梁爽, 张凯, 董敏周, 闫杰.  基于红外压缩成像的点目标跟踪方法研究, 电子与信息学报. 2015, 37(7): 1639-1645. doi: 10.11999/JEIT141324
    [13] 罗会兰, 钟宝康, 孔繁胜.  带权分块压缩感知的预测目标跟踪算法, 电子与信息学报. 2015, 37(5): 1160-1166. doi: 10.11999/JEIT140997
    [14] 程帅, 孙俊喜, 曹永刚, 刘广文, 韩广良.  多示例深度学习目标跟踪, 电子与信息学报. 2015, 37(12): 2906-2912. doi: 10.11999/JEIT150319
    [15] 董文会, 常发亮, 李天平.  融合颜色直方图及SIFT特征的自适应分块目标跟踪方法, 电子与信息学报. 2013, 35(4): 770-776. doi: 10.3724/SP.J.1146.2012.01095
    [16] 赵高鹏, 薄煜明, 尹明锋.  一种红外和可见光双通道视频目标跟踪方法, 电子与信息学报. 2012, 34(3): 529-534. doi: 10.3724/SP.J.1146.2011.00757
    [17] 刘晴, 唐林波, 赵保军, 刘嘉骏, 翟威龙.  基于自适应多特征融合的均值迁移红外目标跟踪, 电子与信息学报. 2012, 34(5): 1137-1141. doi: 10.3724/SP.J.1146.2011.01077
    [18] 周斌, 王军政, 沈伟.  基于全局概率密度搜索的快速目标跟踪, 电子与信息学报. 2010, 32(11): 2680-2685. doi: 10.3724/SP.J.1146.2009.01543
    [19] 孙晓艳, 李建东, 陈彦辉, 张文柱, 姚俊良.  二进制传感器网络加权目标跟踪算法研究, 电子与信息学报. 2010, 32(9): 2052-2057. doi: 10.3724/SP.J.1146.2009.01640
    [20] 康莉, 谢维信, 黄敬雄.  基于SIS框架和蚁群算法的非线性多目标跟踪, 电子与信息学报. 2008, 30(9): 2148-2151. doi: 10.3724/SP.J.1146.2007.00688
  • 加载中
  • 图(6) / 表ll (5)
    计量
    • 文章访问数:  21
    • HTML全文浏览量:  7
    • PDF下载量:  9
    • 被引次数: 0
    出版历程
    • 收稿日期:  2019-10-16
    • 修回日期:  2020-11-13
    • 网络出版日期:  2020-11-19

    目录

      /

      返回文章
      返回

      官方微信,欢迎关注