高级搜索

基于多层卷积特征的自适应决策融合目标跟踪算法

孙彦景 石韫开 云霄 朱绪冉 王赛楠

引用本文: 孙彦景, 石韫开, 云霄, 朱绪冉, 王赛楠. 基于多层卷积特征的自适应决策融合目标跟踪算法[J]. 电子与信息学报, 2019, 41(10): 2464-2470. doi: 10.11999/JEIT180971 shu
Citation:  Yanjing SUN, Yunkai SHI, Xiao YUN, Xuran ZHU, Sainan WANG. Adaptive Strategy Fusion Target Tracking Based on Multi-layer Convolutional Features[J]. Journal of Electronics and Information Technology, 2019, 41(10): 2464-2470. doi: 10.11999/JEIT180971 shu

基于多层卷积特征的自适应决策融合目标跟踪算法

    作者简介: 孙彦景: 男,1977年生,教授,博士生导师,研究方向为无线传感器网络、视频目标跟踪、人工智能、信息物理系统;
    石韫开: 男,1993年生,硕士生,研究方向为视频目标跟踪和人工智能;
    云霄: 女,1986年生,讲师,研究方向为视频目标跟踪和人工智能;
    朱绪冉: 女,1993年生,硕士生,研究方向为目标检测与识别;
    王赛楠: 女,1992年生,硕士生,研究方向为视频目标跟踪
    通讯作者: 云霄,yxztong@163.com
  • 基金项目: 江苏省自然科学基金青年基金(BK20180640, BK20150204),江苏省重点研发计划(BE2015040),国家重点研发计划(2016YFC0801403),国家自然科学基金(51504214, 51504255, 51734009, 61771417)

摘要: 针对目标快速运动、遮挡等复杂视频场景中目标跟踪鲁棒性差和跟踪精度低的问题,该文提出一种基于多层卷积特征的自适应决策融合目标跟踪算法(ASFTT)。首先提取卷积神经网络(CNN)中帧图像的多层卷积特征,避免网络单层特征表征目标信息不全面的缺陷,增强算法的泛化能力;使用多层特征计算帧图像相关性响应,提高算法的跟踪精度;最后该文使用自适应决策融合算法将所有响应中目标位置决策动态融合以定位目标,融合算法综合考虑生成响应的各跟踪器的历史决策信息和当前决策信息,以保证算法的鲁棒性。采用标准数据集OTB2013对该文算法和6种当前主流跟踪算法进行了仿真对比,结果表明该文算法具有更加优秀的跟踪性能。

English

    1. [1]

      侯志强, 张浪, 余旺盛, 等. 基于快速傅里叶变换的局部分块视觉跟踪算法[J]. 电子与信息学报, 2015, 37(10): 2397–2404. doi: 10.11999/JEIT150183
      HOU Zhiqiang, ZHANG Lang, YU Wangsheng, et al. Local patch tracking algorithm based on fast fourier transform[J]. Journal of Electronics &Information Technology, 2015, 37(10): 2397–2404. doi: 10.11999/JEIT150183

    2. [2]

      HUANG C, LUCEY S, and RAMANAN D. Learning policies for adaptive tracking with deep feature cascades[C]. Proceedings of IEEE International Conference on Computer Vision, Venice, Italy, 2017: 105–114.

    3. [3]

      KRIZHEVSKY A, SUTSKEVER I, and HINTON G E. ImageNet classification with deep convolutional neural networks[C]. Proceedings of the 25th International Conference on Neural Information Processing Systems, Lake Tahoe, Nevada, 2012: 1097–1105.

    4. [4]

      WANG Linzhao, WANG Lijun, LU Huchuan, et al. Saliency detection with recurrent fully convolutional networks[C]. Proceedings of the 14th Computer Vision European Conference on Computer Vision, Amsterdam, The Netherlands, 2016: 825–841.

    5. [5]

      LONG J, SHELHAMER E, and DARRELL T. Fully convolutional networks for semantic segmentation[C]. Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition, Boston, USA, 2015: 3431–3440.

    6. [6]

      DANELLJAN M, ROBINSON A, KHAN F S, et al. Beyond correlation filters: learning continuous convolution operators for visual tracking[M]. LEIBE B, MATAS J, SEBE N, et al. Computer Vision – ECCV 2016. Cham: Springer, 2016: 472–488.

    7. [7]

      WANG Naiyan and YEUNG D Y. Learning a deep compact image representation for visual tracking[C]. Proceedings of the 26th International Conference on Neural Information Processing Systems, Lake Tahoe, Nevada, 2013: 809–817.

    8. [8]

      BERTINETTO L, VALMADRE J, HENRIQUES J F, et al. Fully-convolutional siamese networks for object tracking[C]. Proceedings of the Computer Vision – ECCV 2016 Workshops, Amsterdam, The Netherlands, 2016: 850–865.

    9. [9]

      DALAL N and TRIGGS B. Histograms of oriented gradients for human detection[C]. Proceedings of IEEE Computer Society Conference on Computer Vision and Pattern Recognition, San Diego, USA, 2005: 886–893.

    10. [10]

      TIAN Gang, HU Ruimin, WANG Zhongyuan, et al. Improved object tracking algorithm based on new hsv color probability model[M]. YU Wen, HE Haibo, ZHANG Nian. Advances in Neural Networks – ISNN 2009. Berlin Heidelberg, Springer, 2009: 1145–1151.

    11. [11]

      孙航, 李晶, 杜博, 等. 基于多阶段学习的相关滤波目标跟踪[J]. 电子学报, 2017, 45(10): 2337–2342. doi: 10.3969/j.issn.0372-2112.2017.10.004
      SUN Hang, LI Jing, DU Bo, et al. Correlation filtering target tracking based on online multi-lifespan learning[J]. Acta Electronica Sinica, 2017, 45(10): 2337–2342. doi: 10.3969/j.issn.0372-2112.2017.10.004

    12. [12]

      DANELLJAN M, HÄGER G, KHAN F S, et al. Accurate scale estimation for robust visual tracking[C]. Proceedings of British Machine Vision Conference, Nottingham, UK, 2014: 65.1–65.11.

    13. [13]

      HENRIQUES J F, CASEIRO R, MARTINS P, et al. Exploiting the circulant structure of tracking-by-detection with kernels[C]. Proceedings of the 12th European Conference on Computer Vision, Florence, Italy, 2012: 702–715.

    14. [14]

      HENRIQUES J F, CASEIRO R, MARTINS P, et al. High-speed tracking with kernelized correlation filters[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2015, 37(3): 583–596. doi: 10.1109/tpami.2014.2345390

    15. [15]

      HELD D, THRUN S, and SAVARESE S. Learning to track at 100 FPS with deep regression networks[C]. Proceedings of the 14th European Conference on Computer Vision, Amsterdam, The Netherlands, 2016: 749–765.

    16. [16]

      TAO Ran, GAVVES E, and SMEULDERS A W M. Siamese instance search for tracking[C]. Proceedings of the 2016 IEEE Conference on Computer Vision and Pattern Recognition, Las Vegas, USA, 2016: 1420–1429.

    17. [17]

      ZHANG Hainan, SUN Yanjing, LI Song, et al. Long-term tracking based on multi-feature adaptive fusion for video target[J]. IEICE Transactions on Information and Systems, 2018.

    18. [18]

      CHAUDHURI K, FREUND Y, and HSU D. A parameter-free hedging algorithm[C]. Proceedings of the 22nd International Conference on Neural Information Processing Systems, Vancouver, British Columbia, Canada, 2009: 297–305.

    19. [19]

      WU Yi, LIM J, and YANG M H. Online object tracking: a benchmark[C]. Proceedings of IEEE Conference on Computer Vision and Pattern Recognition, Portland, USA, 2013: 2411–2418.

    20. [20]

      MUELLER M, SMITH N, and GHANEM B. Context-aware correlation filter tracking[C]. Proceedings of IEEE Conference on Computer Vision and Pattern Recognition, Honolulu, USA, 2017: 1387–1395.

    21. [21]

      DANELLJAN M, HÄGER G, KHAN F S, et al. Discriminative scale space tracking[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2017, 39(8): 1561–1575. doi: 10.1109/TPAMI.2016.2609928

    22. [22]

      BERTINETTO L, VALMADRE J, GOLODETZ S, et al. Staple: complementary learners for real-time tracking[C]. Proceedings of the 2016 IEEE Conference on Computer Vision and Pattern Recognition, Las Vegas, USA, 2016: 1401–1409.

    23. [23]

      ZHANG Kaihua, LIU Qingshan, WU Yi, et al. Robust visual tracking via convolutional networks without training[J]. IEEE Transactions on Image Processing, 2016, 25(4): 1779–1792.

    1. [1]

      袁晓光, 杨万海, 史林. 动态大规模无线传感器网络决策融合. 电子与信息学报, 2010, 32(12): 2976-2980.

    2. [2]

      李寰宇, 毕笃彦, 查宇飞, 杨源. 一种易于初始化的类卷积神经网络视觉跟踪算法. 电子与信息学报, 2016, 38(1): 1-7.

    3. [3]

      杜兰, 刘彬, 王燕, 刘宏伟, 代慧. 基于卷积神经网络的SAR图像目标检测算法. 电子与信息学报, 2016, 38(12): 3018-3025.

    4. [4]

      郭晨, 简涛, 徐从安, 何友, 孙顺. 基于深度多尺度一维卷积神经网络的雷达舰船目标识别. 电子与信息学报, 2019, 41(6): 1302-1309.

    5. [5]

      贺丰收, 何友, 刘准钆, 徐从安. 卷积神经网络在雷达自动目标识别中的研究进展. 电子与信息学报, 2020, 42(1): 119-131.

    6. [6]

      吴泽民, 王军, 胡磊, 田畅, 曾明勇, 杜麟. 基于卷积神经网络与全局优化的协同显著性检测. 电子与信息学报, 2018, 40(12): 2896-2904.

    7. [7]

      刘勤让, 刘崇阳. 利用参数稀疏性的卷积神经网络计算优化及其FPGA加速器设计. 电子与信息学报, 2018, 40(6): 1368-1374.

    8. [8]

      谢金宝, 侯永进, 康守强, 李佰蔚, 张霄. 基于语义理解注意力神经网络的多元特征融合中文文本分类. 电子与信息学报, 2018, 40(5): 1258-1265.

    9. [9]

      田鹏, 吕江花, 马世龙, 汪溁鹤. 基于局部差别性分析的目标跟踪算法. 电子与信息学报, 2017, 39(11): 2635-2643.

    10. [10]

      董文会, 常发亮, 李天平. 融合颜色直方图及SIFT特征的自适应分块目标跟踪方法. 电子与信息学报, 2013, 35(4): 770-776.

    11. [11]

      刘晴, 唐林波, 赵保军, 刘嘉骏, 翟威龙. 基于自适应多特征融合的均值迁移红外目标跟踪. 电子与信息学报, 2012, 34(5): 1137-1141.

    12. [12]

      谢涛, 吴恩斯. 一种鲁棒的基于集成学习的核相关红外目标跟踪算法. 电子与信息学报, 2018, 40(3): 602-609.

    13. [13]

      孙晓艳, 李建东, 陈彦辉, 张文柱, 姚俊良. 二进制传感器网络加权目标跟踪算法研究. 电子与信息学报, 2010, 32(9): 2052-2057.

    14. [14]

      吴正平, 杨杰, 崔晓梦, 张庆年. 融合L2范数最小化和压缩Haar-like特征匹配的快速目标跟踪. 电子与信息学报, 2016, 38(11): 2803-2810.

    15. [15]

      姚志均. 一种新的空间直方图相似性度量方法及其在目标跟踪中的应用. 电子与信息学报, 2013, 35(7): 1644-1649.

    16. [16]

      胡波, 王祺尧, 冯辉, 罗灵兵. 一种无线传感器网络中目标跟踪的自适应节点调度算法. 电子与信息学报, 2018, 40(9): 2033-2041.

    17. [17]

      刘政怡, 段群涛, 石松, 赵鹏. 基于多模态特征融合监督的RGB-D图像显著性检测. 电子与信息学报, 2019, 41(0): 1-8.

    18. [18]

      刘天亮, 谯庆伟, 万俊伟, 戴修斌, 罗杰波. 融合空间-时间双网络流和视觉注意的人体行为识别. 电子与信息学报, 2018, 40(10): 2395-2401.

    19. [19]

      杜兰, 魏迪, 李璐, 郭昱辰. 基于半监督学习的SAR目标检测网络. 电子与信息学报, 2020, 42(1): 154-163.

    20. [20]

      黄立勤, 朱飘. 车载视频下改进的核相关滤波跟踪算法. 电子与信息学报, 2018, 40(8): 1887-1894.

  • 图 1  ASFTT算法框图

    图 2  算法整体的精度曲线和成功率曲线图

    图 3  算法各属性的精度曲线和成功率曲线图

    图 4  跟踪效果对比图

    表 1  基于多层卷积特征的自适应决策融合目标跟踪算法

     输入:视频序列第1帧的目标位置;初始各决策权重$w_1^1,w_1^2, ·\!·\!· ,w_1^m$; $R_1^m = 0$,$l_1^m = 0$。
     输出:每帧图像的目标位置$({a_t},{b_t})$。
     (1) //权重初始化。使用式(4)计算$k$个跟踪器的初始权重;
     (2) for t=2 to T(T是视频的总帧数):
     (3) //提取网络多层特征。提取网络中待检测图像$k$层的特征$x_t^k$和模板分支最后一层特征${u'_1}$;
     (4) //响应值计算。使用式(6)和式(8)计算$k$个相关滤波响应值$R_t^k$和相似性响应值${R'_t}$;
     (5) //自适应响应决策融合。计算目标位置首先使用式(7)和式(9)计算步骤(4)中每个决策者预测的目标位置$(a_t^m,b_t^m)$;通过式(10)计算最终的    目标位置$({a_t},{b_t})$;
     (6) //更新权重值,用于下一帧检测。首先通过式(11)和式(12)计算各决策者的损失$L_t^m$和当前代价函数$p_t^m$;其次使用式(13)和式(14)更新稳    定性模型并计算每个决策者的稳定性度量值$r_t^m$;使用式(15b)和式(15a)计算每个决策者当前代价函数$p_t^m$的$\alpha _t^m$比例值和每个决策者    的累积代价函数$S_t^m$;并使用式(16)更新每个决策者所对应的权重$w_{t + 1}^m$;最后通过式(5)更新$k$个跟踪器的权重;
     (7) end for;
    下载: 导出CSV

    表 2  测试视频序列包含的影响因素

    序列帧数影响因素
    basketball725形变、遮挡、光照变化、背景杂波等
    jumping313运动模糊、快速运动
    shaking365光照变化、背景杂波、尺度变化等
    couple140平面外旋转、尺度变化、形变等
    下载: 导出CSV
  • 加载中
图(4)表(2)
计量
  • PDF下载量:  87
  • 文章访问数:  1339
  • HTML全文浏览量:  736
文章相关
  • 通讯作者:  云霄, yxztong@163.com
  • 收稿日期:  2018-10-17
  • 录用日期:  2019-02-26
  • 网络出版日期:  2019-03-16
  • 刊出日期:  2019-10-01
通讯作者: 陈斌, bchen63@163.com
  • 1. 

    沈阳化工大学材料科学与工程学院 沈阳 110142

  1. 本站搜索
  2. 百度学术搜索
  3. 万方数据库搜索
  4. CNKI搜索

/

返回文章