高级搜索

留言板

尊敬的读者、作者、审稿人, 关于本刊的投稿、审稿、编辑和出版的任何问题, 您可以本页添加留言。我们将尽快给您答复。谢谢您的支持!

姓名
邮箱
手机号码
标题
留言内容
验证码

基于多层卷积特征的自适应决策融合目标跟踪算法

孙彦景 石韫开 云霄 朱绪冉 王赛楠

孙彦景, 石韫开, 云霄, 朱绪冉, 王赛楠. 基于多层卷积特征的自适应决策融合目标跟踪算法[J]. 电子与信息学报, 2019, 41(10): 2464-2470. doi: 10.11999/JEIT180971
引用本文: 孙彦景, 石韫开, 云霄, 朱绪冉, 王赛楠. 基于多层卷积特征的自适应决策融合目标跟踪算法[J]. 电子与信息学报, 2019, 41(10): 2464-2470. doi: 10.11999/JEIT180971
Yanjing SUN, Yunkai SHI, Xiao YUN, Xuran ZHU, Sainan WANG. Adaptive Strategy Fusion Target Tracking Based on Multi-layer Convolutional Features[J]. Journal of Electronics and Information Technology, 2019, 41(10): 2464-2470. doi: 10.11999/JEIT180971
Citation: Yanjing SUN, Yunkai SHI, Xiao YUN, Xuran ZHU, Sainan WANG. Adaptive Strategy Fusion Target Tracking Based on Multi-layer Convolutional Features[J]. Journal of Electronics and Information Technology, 2019, 41(10): 2464-2470. doi: 10.11999/JEIT180971

基于多层卷积特征的自适应决策融合目标跟踪算法

doi: 10.11999/JEIT180971
基金项目: 江苏省自然科学基金青年基金(BK20180640, BK20150204),江苏省重点研发计划(BE2015040),国家重点研发计划(2016YFC0801403),国家自然科学基金(51504214, 51504255, 51734009, 61771417)
详细信息
    作者简介:

    孙彦景:男,1977年生,教授,博士生导师,研究方向为无线传感器网络、视频目标跟踪、人工智能、信息物理系统

    石韫开:男,1993年生,硕士生,研究方向为视频目标跟踪和人工智能

    云霄:女,1986年生,讲师,研究方向为视频目标跟踪和人工智能

    朱绪冉:女,1993年生,硕士生,研究方向为目标检测与识别

    王赛楠:女,1992年生,硕士生,研究方向为视频目标跟踪

    通讯作者:

    云霄 yxztong@163.com

  • 中图分类号: TP391.4

Adaptive Strategy Fusion Target Tracking Based on Multi-layer Convolutional Features

Funds: The Natural Science Foundation of Jiangsu Province (BK20180640, BK20150204), The Research Development Programme of Jiangsu Province (BE2015040), The State Key Research Development Program (2016YFC0801403), The National Natural Science Foundation of China (51504214, 51504255, 51734009, 61771417)
  • 摘要: 针对目标快速运动、遮挡等复杂视频场景中目标跟踪鲁棒性差和跟踪精度低的问题,该文提出一种基于多层卷积特征的自适应决策融合目标跟踪算法(ASFTT)。首先提取卷积神经网络(CNN)中帧图像的多层卷积特征,避免网络单层特征表征目标信息不全面的缺陷,增强算法的泛化能力;使用多层特征计算帧图像相关性响应,提高算法的跟踪精度;最后该文使用自适应决策融合算法将所有响应中目标位置决策动态融合以定位目标,融合算法综合考虑生成响应的各跟踪器的历史决策信息和当前决策信息,以保证算法的鲁棒性。采用标准数据集OTB2013对该文算法和6种当前主流跟踪算法进行了仿真对比,结果表明该文算法具有更加优秀的跟踪性能。
  • 图  1  ASFTT算法框图

    图  2  算法整体的精度曲线和成功率曲线图

    图  3  算法各属性的精度曲线和成功率曲线图

    图  4  跟踪效果对比图

    表  1  基于多层卷积特征的自适应决策融合目标跟踪算法

     输入:视频序列第1帧的目标位置;初始各决策权重$w_1^1,w_1^2, ·\!·\!· ,w_1^m$; $R_1^m = 0$,$l_1^m = 0$。
     输出:每帧图像的目标位置$({a_t},{b_t})$。
     (1) //权重初始化。使用式(4)计算$k$个跟踪器的初始权重;
     (2) for t=2 to T(T是视频的总帧数):
     (3) //提取网络多层特征。提取网络中待检测图像$k$层的特征$x_t^k$和模板分支最后一层特征${u'_1}$;
     (4) //响应值计算。使用式(6)和式(8)计算$k$个相关滤波响应值$R_t^k$和相似性响应值${R'_t}$;
     (5) //自适应响应决策融合。计算目标位置首先使用式(7)和式(9)计算步骤(4)中每个决策者预测的目标位置$(a_t^m,b_t^m)$;通过式(10)计算最终的    目标位置$({a_t},{b_t})$;
     (6) //更新权重值,用于下一帧检测。首先通过式(11)和式(12)计算各决策者的损失$L_t^m$和当前代价函数$p_t^m$;其次使用式(13)和式(14)更新稳    定性模型并计算每个决策者的稳定性度量值$r_t^m$;使用式(15b)和式(15a)计算每个决策者当前代价函数$p_t^m$的$\alpha _t^m$比例值和每个决策者    的累积代价函数$S_t^m$;并使用式(16)更新每个决策者所对应的权重$w_{t + 1}^m$;最后通过式(5)更新$k$个跟踪器的权重;
     (7) end for;
    下载: 导出CSV

    表  2  测试视频序列包含的影响因素

    序列帧数影响因素
    basketball725形变、遮挡、光照变化、背景杂波等
    jumping313运动模糊、快速运动
    shaking365光照变化、背景杂波、尺度变化等
    couple140平面外旋转、尺度变化、形变等
    下载: 导出CSV
  • [1] 侯志强, 张浪, 余旺盛, 等. 基于快速傅里叶变换的局部分块视觉跟踪算法[J]. 电子与信息学报, 2015, 37(10): 2397–2404. doi:  10.11999/JEIT150183

    HOU Zhiqiang, ZHANG Lang, YU Wangsheng, et al. Local patch tracking algorithm based on fast fourier transform[J]. Journal of Electronics &Information Technology, 2015, 37(10): 2397–2404. doi:  10.11999/JEIT150183
    [2] HUANG C, LUCEY S, and RAMANAN D. Learning policies for adaptive tracking with deep feature cascades[C]. Proceedings of IEEE International Conference on Computer Vision, Venice, Italy, 2017: 105–114.
    [3] KRIZHEVSKY A, SUTSKEVER I, and HINTON G E. ImageNet classification with deep convolutional neural networks[C]. Proceedings of the 25th International Conference on Neural Information Processing Systems, Lake Tahoe, Nevada, 2012: 1097–1105.
    [4] WANG Linzhao, WANG Lijun, LU Huchuan, et al. Saliency detection with recurrent fully convolutional networks[C]. Proceedings of the 14th Computer Vision European Conference on Computer Vision, Amsterdam, The Netherlands, 2016: 825–841.
    [5] LONG J, SHELHAMER E, and DARRELL T. Fully convolutional networks for semantic segmentation[C]. Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition, Boston, USA, 2015: 3431–3440.
    [6] DANELLJAN M, ROBINSON A, KHAN F S, et al. Beyond correlation filters: learning continuous convolution operators for visual tracking[M]. LEIBE B, MATAS J, SEBE N, et al. Computer Vision – ECCV 2016. Cham: Springer, 2016: 472–488.
    [7] WANG Naiyan and YEUNG D Y. Learning a deep compact image representation for visual tracking[C]. Proceedings of the 26th International Conference on Neural Information Processing Systems, Lake Tahoe, Nevada, 2013: 809–817.
    [8] BERTINETTO L, VALMADRE J, HENRIQUES J F, et al. Fully-convolutional siamese networks for object tracking[C]. Proceedings of the Computer Vision – ECCV 2016 Workshops, Amsterdam, The Netherlands, 2016: 850–865.
    [9] DALAL N and TRIGGS B. Histograms of oriented gradients for human detection[C]. Proceedings of IEEE Computer Society Conference on Computer Vision and Pattern Recognition, San Diego, USA, 2005: 886–893.
    [10] TIAN Gang, HU Ruimin, WANG Zhongyuan, et al. Improved object tracking algorithm based on new hsv color probability model[M]. YU Wen, HE Haibo, ZHANG Nian. Advances in Neural Networks – ISNN 2009. Berlin Heidelberg, Springer, 2009: 1145–1151.
    [11] 孙航, 李晶, 杜博, 等. 基于多阶段学习的相关滤波目标跟踪[J]. 电子学报, 2017, 45(10): 2337–2342. doi:  10.3969/j.issn.0372-2112.2017.10.004

    SUN Hang, LI Jing, DU Bo, et al. Correlation filtering target tracking based on online multi-lifespan learning[J]. Acta Electronica Sinica, 2017, 45(10): 2337–2342. doi:  10.3969/j.issn.0372-2112.2017.10.004
    [12] DANELLJAN M, HÄGER G, KHAN F S, et al. Accurate scale estimation for robust visual tracking[C]. Proceedings of British Machine Vision Conference, Nottingham, UK, 2014: 65.1–65.11.
    [13] HENRIQUES J F, CASEIRO R, MARTINS P, et al. Exploiting the circulant structure of tracking-by-detection with kernels[C]. Proceedings of the 12th European Conference on Computer Vision, Florence, Italy, 2012: 702–715.
    [14] HENRIQUES J F, CASEIRO R, MARTINS P, et al. High-speed tracking with kernelized correlation filters[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2015, 37(3): 583–596. doi:  10.1109/tpami.2014.2345390
    [15] HELD D, THRUN S, and SAVARESE S. Learning to track at 100 FPS with deep regression networks[C]. Proceedings of the 14th European Conference on Computer Vision, Amsterdam, The Netherlands, 2016: 749–765.
    [16] TAO Ran, GAVVES E, and SMEULDERS A W M. Siamese instance search for tracking[C]. Proceedings of the 2016 IEEE Conference on Computer Vision and Pattern Recognition, Las Vegas, USA, 2016: 1420–1429.
    [17] ZHANG Hainan, SUN Yanjing, LI Song, et al. Long-term tracking based on multi-feature adaptive fusion for video target[J]. IEICE Transactions on Information and Systems, 2018.
    [18] CHAUDHURI K, FREUND Y, and HSU D. A parameter-free hedging algorithm[C]. Proceedings of the 22nd International Conference on Neural Information Processing Systems, Vancouver, British Columbia, Canada, 2009: 297–305.
    [19] WU Yi, LIM J, and YANG M H. Online object tracking: a benchmark[C]. Proceedings of IEEE Conference on Computer Vision and Pattern Recognition, Portland, USA, 2013: 2411–2418.
    [20] MUELLER M, SMITH N, and GHANEM B. Context-aware correlation filter tracking[C]. Proceedings of IEEE Conference on Computer Vision and Pattern Recognition, Honolulu, USA, 2017: 1387–1395.
    [21] DANELLJAN M, HÄGER G, KHAN F S, et al. Discriminative scale space tracking[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2017, 39(8): 1561–1575. doi:  10.1109/TPAMI.2016.2609928
    [22] BERTINETTO L, VALMADRE J, GOLODETZ S, et al. Staple: complementary learners for real-time tracking[C]. Proceedings of the 2016 IEEE Conference on Computer Vision and Pattern Recognition, Las Vegas, USA, 2016: 1401–1409.
    [23] ZHANG Kaihua, LIU Qingshan, WU Yi, et al. Robust visual tracking via convolutional networks without training[J]. IEEE Transactions on Image Processing, 2016, 25(4): 1779–1792.
  • [1] 缪祥华, 单小撤.  基于密集连接卷积神经网络的入侵检测技术研究, 电子与信息学报. doi: 10.11999/JEIT190655
    [2] 杜兰, 魏迪, 李璐, 郭昱辰.  基于半监督学习的SAR目标检测网络, 电子与信息学报. doi: 10.11999/JEIT190783
    [3] 刘政怡, 段群涛, 石松, 赵鹏.  基于多模态特征融合监督的RGB-D图像显著性检测, 电子与信息学报. doi: 10.11999/JEIT190297
    [4] 王鹏, 孙梦宇, 王海燕, 李晓艳, 吕志刚.  一种目标响应自适应的通道可靠性跟踪算法, 电子与信息学报. doi: 10.11999/JEIT190569
    [5] 贺丰收, 何友, 刘准钆, 徐从安.  卷积神经网络在雷达自动目标识别中的研究进展, 电子与信息学报. doi: 10.11999/JEIT180899
    [6] 吕晓琪, 吴凉, 谷宇, 张明, 李菁.  基于深度卷积神经网络的低剂量CT肺部去噪, 电子与信息学报. doi: 10.11999/JEIT170769
    [7] 黄立勤, 朱飘.  车载视频下改进的核相关滤波跟踪算法, 电子与信息学报. doi: 10.11999/JEIT171109
    [8] 谢涛, 吴恩斯.  一种鲁棒的基于集成学习的核相关红外目标跟踪算法, 电子与信息学报. doi: 10.11999/JEIT170527
    [9] 谢金宝, 侯永进, 康守强, 李佰蔚, 张霄.  基于语义理解注意力神经网络的多元特征融合中文文本分类, 电子与信息学报. doi: 10.11999/JEIT170815
    [10] 刘勤让, 刘崇阳.  利用参数稀疏性的卷积神经网络计算优化及其FPGA加速器设计, 电子与信息学报. doi: 10.11999/JEIT170819
    [11] 田鹏, 吕江花, 马世龙, 汪溁鹤.  基于局部差别性分析的目标跟踪算法, 电子与信息学报. doi: 10.11999/JEIT170045
    [12] 吴正平, 杨杰, 崔晓梦, 张庆年.  融合L2范数最小化和压缩Haar-like特征匹配的快速目标跟踪, 电子与信息学报. doi: 10.11999/JEIT160122
    [13] 杜兰, 刘彬, 王燕, 刘宏伟, 代慧.  基于卷积神经网络的SAR图像目标检测算法, 电子与信息学报. doi: 10.11999/JEIT161032
    [14] 李寰宇, 毕笃彦, 查宇飞, 杨源.  一种易于初始化的类卷积神经网络视觉跟踪算法, 电子与信息学报. doi: 10.11999/JEIT150600
    [15] 张红颖, 胡正.  融合局部三值数量和色度信息的均值漂移跟踪, 电子与信息学报. doi: 10.3724/SP.J.1146.2013.01155
    [16] 姚志均.  一种新的空间直方图相似性度量方法及其在目标跟踪中的应用, 电子与信息学报. doi: 10.3724/SP.J.1146.2012.01535
    [17] 董文会, 常发亮, 李天平.  融合颜色直方图及SIFT特征的自适应分块目标跟踪方法, 电子与信息学报. doi: 10.3724/SP.J.1146.2012.01095
    [18] 刘晴, 唐林波, 赵保军, 刘嘉骏, 翟威龙.  基于自适应多特征融合的均值迁移红外目标跟踪, 电子与信息学报. doi: 10.3724/SP.J.1146.2011.01077
    [19] 孙晓艳, 李建东, 陈彦辉, 张文柱, 姚俊良.  二进制传感器网络加权目标跟踪算法研究, 电子与信息学报. doi: 10.3724/SP.J.1146.2009.01640
    [20] 袁晓光, 杨万海, 史林.  动态大规模无线传感器网络决策融合, 电子与信息学报. doi: 10.3724/SP.J.1146.2009.01656
  • 加载中
  • 图(4) / 表ll (2)
    计量
    • 文章访问数:  1794
    • HTML全文浏览量:  1039
    • PDF下载量:  104
    • 被引次数: 0
    出版历程
    • 收稿日期:  2018-10-17
    • 修回日期:  2019-02-26
    • 网络出版日期:  2019-03-16
    • 刊出日期:  2019-10-01

    目录

      /

      返回文章
      返回

      官方微信,欢迎关注