高级搜索

留言板

尊敬的读者、作者、审稿人, 关于本刊的投稿、审稿、编辑和出版的任何问题, 您可以本页添加留言。我们将尽快给您答复。谢谢您的支持!

姓名
邮箱
手机号码
标题
留言内容
验证码

基于雾线先验的时空关联约束视频去雾算法

姚婷婷 梁越 柳晓鸣 胡青

姚婷婷, 梁越, 柳晓鸣, 胡青. 基于雾线先验的时空关联约束视频去雾算法[J]. 电子与信息学报, 2020, 42(11): 2796-2804. doi: 10.11999/JEIT190403
引用本文: 姚婷婷, 梁越, 柳晓鸣, 胡青. 基于雾线先验的时空关联约束视频去雾算法[J]. 电子与信息学报, 2020, 42(11): 2796-2804. doi: 10.11999/JEIT190403
Tingting YAO, Yue LIANG, Xiaoming LIU, Qing HU. Video Dehazing Algorithm via Haze-line Prior with Spatiotemporal Correlation Constraint[J]. Journal of Electronics and Information Technology, 2020, 42(11): 2796-2804. doi: 10.11999/JEIT190403
Citation: Tingting YAO, Yue LIANG, Xiaoming LIU, Qing HU. Video Dehazing Algorithm via Haze-line Prior with Spatiotemporal Correlation Constraint[J]. Journal of Electronics and Information Technology, 2020, 42(11): 2796-2804. doi: 10.11999/JEIT190403

基于雾线先验的时空关联约束视频去雾算法

doi: 10.11999/JEIT190403
基金项目: 中央高校基本科研业务费专项资金(3132020208),国家自然科学基金(31700742)
详细信息
    作者简介:

    姚婷婷:女,1988年生,讲师,研究方向为计算机视觉与图像处理等

    梁越:男,1996年生,硕士生,研究方向为雾天视频处理

    柳晓鸣:男,1959年生,教授,研究方向为海上交通电子信息处理、雷达信号处理等

    胡青:男,1978年生,教授,研究方向为海事信息传输、自动识别系统等

    通讯作者:

    姚婷婷 ytt1030@dlmu.edu.cn

  • 1) SfM算法程序可以从网址: http://ccwu.me/vsfm/获得
  • 中图分类号: TN911.73, TP391

Video Dehazing Algorithm via Haze-line Prior with Spatiotemporal Correlation Constraint

Funds: The Fundamental Research Funds for the Central Universities (3132020208), The National Natural Science Foundation of China (31700742)
  • 摘要: 现有视频去雾算法由于缺少对视频结构关联约束和帧间一致性分析,容易导致连续帧去雾结果在颜色和亮度上存在突变,同时去雾后的前景目标边缘区域也容易出现退化现象。针对上述问题,该文提出一种基于雾线先验的时空关联约束视频去雾算法,通过引入每帧图像在空间邻域中具有的结构关联性和时间邻域中具有的连续一致性,提高视频去雾算法的求解准确性和鲁棒性。算法首先使用暗通道先验估计每帧图像的大气光向量,并结合雾线先验求取初始透射率图。然后引入加权最小二乘边缘保持平滑滤波器对初始透射率图进行空间平滑,消除奇异点和噪声对估计结果的影响。进一步利用相机参数刻画连续帧间透射率图的时序变化规律,对独立求取的每帧透射率图进行时序关联修正。最后根据雾图模型获得最终的视频去雾结果。定性和定量的对比实验结果表明,该算法下视频去雾结果的帧间过渡更加自然,同时对每一帧图像的色彩还原更加准确,图像边缘的细节信息显示也更加丰富。
    注释:
    1)  1) SfM算法程序可以从网址: http://ccwu.me/vsfm/获得
  • 图  1  雾线示意图

    图  2  本文算法总体框图

    图  3  同一帧各阶段透射率图对比

    图  4  视频Ship和Beach连续帧下去雾结果对比

    图  5  单帧图像去雾结果对比

    表  1  各算法在不同评价指标下的性能对比

    视频集算法VCMSSIMHCC信息熵UQI
    Bali文献[16]算法47.7398±4.35020.6614±0.0459–0.3173±0.04856.8571±0.16410.5923±0.0425
    文献[17]算法30.1254±5.62770.5526±0.0215–0.2960±0.03267.3794±0.07920.4669±0.0225
    文献[19]算法41.6247±4.94480.8693±0.0041–0.0813±0.05817.5121±0.04470.8061±0.0086
    文献[20]算法37.4402±4.02380.6221±0.0214–0.1968±0.10616.5753±0.14450.5889±0.0335
    文献[21]算法49.7812±4.47820.7001±0.1116–0.0312±0.06397.5413±0.05720.8819±0.0101
    本文算法51.3852±6.32230.6679±0.0249–0.2532±0.02517.9253±0.13220.8938±0.0285
    Blenheim文献[16]算法35.5897±2.20010.8686±0.01290.0667±0.01656.5025±0.19670.7960±0.0258
    文献[17]算法37.5815±1.62240.8260±0.03660.4688±0.09457.0697±0.09030.7661±0.0373
    文献[19]算法26.0153±1.92590.9123±0.00350.4406±0.02317.0390±0.07160.8332±0.0209
    文献[20]算法18.2786±2.27690.8215±0.02620.2759±0.03396.4305±0.06020.7721±0.0449
    文献[21]算法64.9899±1.78270.6632±0.00940.0377±0.01356.2305±0.16370.7239±0.0108
    本文算法40.0056±0.91160.9764±0.00220.7940±0.09697.4379±0.04340.9549±0.0131
    Playground文献[16]算法50.2886±6.46190.8954±0.0129–0.0276±0.02495.9694±0.45800.9021±0.0123
    文献[17]算法31.9030±8.12110.7788±0.05750.0115±0.11777.4964±0.09110.7529±0.0703
    文献[19]算法43.6243±3.56590.9205±0.00860.1664±0.05197.2406±0.10600.8967±0.0142
    文献[20]算法35.5237±3.24260.7807±0.0182–0.1450±0.05956.9652±0.09300.7728±0.0309
    文献[21]算法51.8038±5.38900.6917±0.0258–0.0457±0.04176.8567±0.20890.8213±0.0204
    本文算法54.4761±10.97460.9546±0.02300.0587±0.05067.1156±0.17210.9379±0.0421
    Stele文献[16]算法30.7638±15.73690.3649±0.02880.4263±0.12346.8163±0.08280.7349±0.0476
    文献[17]算法44.2502±3.14280.7392±0.01990.0577±0.04437.1132±0.08280.7665±0.0296
    文献[19]算法51.0145±5.45310.8529±0.01090.3319±0.08466.5512±0.14770.7671±0.0174
    文献[20]算法40.8246±4.81870.8214±0.01570.2711±0.10346.2814±0.12420.7805±0.0233
    文献[21]算法75.7723±3.88980.5875±0.01660.0227±0.04197.3425±0.10650.7881±0.0252
    本文算法29.9452±3.07790.9045±0.02220.4791±0.11637.9275±0.09330.8580±0.0361
    Motocycle文献[16]算法35.9520±15.95570.6854±0.0389–0.0101±0.02546.9864±0.05070.5594±0.0292
    文献[17]算法49.8669±5.50660.7500±0.03240.3960±0.08827.4345±0.05830.8401±0.0319
    文献[19]算法33.4659±11.35330.8693±0.00470.2797±0.04757.0304±0.06460.8535±0.0114
    文献[20]算法25.9303±7.02410.3705±0.0650–0.3172±0.31565.7929±0.38120.1670±0.0547
    文献[21]算法69.1006±4.91470.5231±0.01460.0111±0.02997.6674±0.10620.7442±0.0219
    本文算法52.0758±8.09320.7720±0.02810.5653±0.08967.2598±0.09920.8955±0.0261
    Ship文献[16]算法38.8112±11.48190.7648±0.11410.0505±0.18177.5924±0.13690.6952±0.1243
    文献[17]算法33.9529±3.17270.8063±0.01620.0147±0.05517.5878±0.07910.7969±0.0267
    文献[19]算法35.1544±10.51720.8396±0.01040.0313±0.04497.5395±0.04310.7682±0.0134
    文献[20]算法33.8128±3.75080.5602±0.0496–0.3243±0.02126.8355±0.15860.3912±0.0669
    文献[21]算法53.0535±4.76260.6343±0.0167–0.1062±0.00996.8996±0.10230.7783±0.0097
    本文算法46.0955±3.61690.8365±0.01250.2137±0.08637.8230±0.01310.7985±0.0206
    Beach文献[16]算法16.2818±4.70950.9786±0.00960.7025±0.08647.3837±0.04570.9702±0.0133
    文献[17]算法38.2337±5.43350.7396±0.0096–0.2957±0.03717.4769±0.08440.6582±0.0159
    文献[19]算法9.4401±2.48710.8823±0.00500.0043±0.04547.4627±0.02370.8078±0.0062
    文献[20]算法22.7816±3.32440.4762±0.4821–0.3919±0.02076.4422±0.20080.2868±0.0615
    文献[21]算法32.7816±8.85430.7221±0.02070.0181±0.00827.4134±0.08510.8845±0.0031
    本文算法28.2158±5.86220.9802±0.01540.8117±0.08817.8108±0.02400.9415±0.0197
    下载: 导出CSV

    表  2  各算法计算效率对比

    算法文献[16]算法文献[17]算法文献[19]算法文献[20]算法文献[21]算法本文算法
    时间(s)182.26541.09850.10761.82500.26011.0502
    下载: 导出CSV
  • [1] XU Yong, WEN Jie, FEI Lunke, et al. Review of video and image defogging algorithms and related studies on image restoration and enhancement[J]. IEEE Access, 2015, 4: 165–188. doi:  10.1109/ACCESS.2015.2511558
    [2] YU Tianhe, MENG Xue, ZHU Ming, et al. An improved multi-scale retinex fog and haze image enhancement method[C]. 2016 International Conference on Information System and Artificial Intelligence, Hong Kong, China, 2016: 557–560. doi: 10.1109/ISAI.2016.0124.
    [3] LI Yaning, WANG Junping, GAO Kang, et al. Fast morphological filtering haze removal method from a single image[J]. Journal of Computational Information Systems, 2015, 11(16): 5799–5806. doi:  10.12733/jcis14861
    [4] QIAO Tong, REN Jinchang, WANG Zheng, et al. Effective denoising and classification of hyperspectral images using curvelet transform and singular spectrum analysis[J]. IEEE Transactions on Geoscience and Remote Sensing, 2017, 55(1): 119–133. doi:  10.1109/TGRS.2016.2598065
    [5] 黄果, 许黎, 陈庆利, 等. 非局部多尺度分数阶微分图像增强算法研究[J]. 电子与信息学报, 2019, 41(12): 2972–2979. doi:  10.11999/JEIT190032

    HUANG Guo, XU Li, CHEN Qingli, et al. Research on non-local multi-scale fractional differential image enhancement algorithm[J]. Journal of Electronics &Information Technology, 2019, 41(12): 2972–2979. doi:  10.11999/JEIT190032
    [6] HE Kaiming, SUN Jian, and TANG Xiaoou. Single image haze removal using dark channel prior[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2011, 33(12): 2341–2353. doi:  10.1109/TPAMI.2010.168
    [7] 杨爱萍, 王南, 庞彦伟, 等. 人工光源条件下夜间雾天图像建模及去雾[J]. 电子与信息学报, 2018, 40(6): 1330–1337. doi:  10.11999/JEIT170704

    YANG Aiping, WANG Nan, PANG Yanwei, et al. Nighttime haze removal based on new imaging model with artificial light sources[J]. Journal of Electronics &Information Technology, 2018, 40(6): 1330–1337. doi:  10.11999/JEIT170704
    [8] 江巨浪, 孙伟, 王振东, 等. 基于透射率权值因子的雾天图像融合增强算法[J]. 电子与信息学报, 2018, 40(10): 2388–2394. doi:  10.11999/JEIT171032

    JIANG Julang, SUN Wei, WANG Zhendong, et al. Integrated enhancement algorithm for hazy image using transmittance as weighting factor[J]. Journal of Electronics &Information Technology, 2018, 40(10): 2388–2394. doi:  10.11999/JEIT171032
    [9] MA Xiao, SHAO Limin, XU Guanlei, et al. Intelligent defogging method based on clustering and dark channel prior[C]. 2018 IEEE 3rd International Conference on Image, Vision and Computing, Chongqing, China, 2018: 149–156. doi: 10.1109/ICIVC.2018.8492842.
    [10] 杨燕, 王志伟. 基于均值不等关系优化的自适应图像去雾算法[J]. 电子与信息学报, 2020, 42(3): 755–763. doi:  10.11999/JEIT190368

    YANG Yan and WANG Zhiwei. Adaptive image dehazing algorithm based on mean unequal relation optimization[J]. Journal of Electronics &Information Technology, 2020, 42(3): 755–763. doi:  10.11999/JEIT190368
    [11] JOHN J and WILSCY M. Enhancement of weather degraded video sequences using wavelet fusion[C]. The 7th IEEE International Conference on Cybernetic Intelligent Systems, London, England, 2008: 1–6. doi: 10.1109/UKRICIS.2008.4798926.
    [12] YOON I, KIM S, KIM D, et al. Adaptive defogging with color correction in the HSV color space for consumer surveillance system[J]. IEEE Transactions on Consumer Electronics, 2012, 58(1): 111–116. doi:  10.1109/TCE.2012.6170062
    [13] 郭璠, 蔡自兴, 谢斌. 基于雾气理论的视频去雾算法[J]. 电子学报, 2011, 39(9): 2019–2025.

    GUO Fan, CAI Zixing, and XIE Bin. Video defogging algorithm based on fog theory[J]. Acta Electronica Sinica, 2011, 39(9): 2019–2025.
    [14] 刘海波, 杨杰, 吴正平, 等. 改进的基于雾气理论的视频去雾[J]. 光学精密工程, 2016, 24(7): 1789–1798. doi:  10.3788/OPE.20162407.1789

    LIU Haibo, YANG Jie, WU Zhengping, et al. Improved video defogging based on fog theory[J]. Optics and Precision Engineering, 2016, 24(7): 1789–1798. doi:  10.3788/OPE.20162407.1789
    [15] 马忠丽, 文杰, 郝亮亮. 海面舰船场景的视频图像海雾去除算法[J]. 系统工程与电子技术, 2014, 36(9): 1860–1867. doi:  10.3969/j.issn.1001-506X.2014.09.31

    MA Zhongli, WEN Jie, and HAO Liangliang. Video image defogging algorithm for surface ship scenes[J]. Systems Engineering and Electronics, 2014, 36(9): 1860–1867. doi:  10.3969/j.issn.1001-506X.2014.09.31
    [16] LI Zhuwen, TAN Ping, TAN R T, et al. Simultaneous video defogging and stereo reconstruction[C]. 2015 IEEE Conference on Computer Vision and Pattern Recognition (CVPR), Boston, USA, 2015: 4988–4997. doi: 10.1109/CVPR.2015.7299133.
    [17] BERMAN D, TREIBITZ T, AVIDAN S, et al. Non-local image dehazing[C]. 2016 IEEE Conference on Computer Vision and Pattern Recognition (CVPR), Las Vegas, USA, 2016: 1674–1682. doi: 10.1109/CVPR.2016.185.
    [18] KATO T, SHIMIZU I, and PAJDLA T. Selecting image pairs for SfM by introducing jaccard similarity[C]. The 15th IAPR International Conference on Machine Vision Applications (MVA), Nagoya, Japan, 2017: 25–29. doi: 10.23919/MVA.2017.7986764.
    [19] CAI Bolun, XU Xiangmin, and TAO Dacheng. Real-time video dehazing based on spatio-temporal MRF[C]. The 17th Pacific-Rim Conference on Multimedia on Advances in Multimedia Information Processing, Cham, 2016: 315–325. doi: 10.1007/978-3-319-48896-7_31.
    [20] ZHAO Dong, XU Long, YAN Yihua, et al. Multi-scale optimal fusion model for single image dehazing[J]. Signal Processing: Image Communication, 2019, 74: 253–265. doi:  10.1016/j.image.2019.02.004
    [21] YU Teng, SONG Kang, MIAO Pu, et al. Nighttime single image dehazing via pixel-wise alpha blending[J]. IEEE Access, 2019, 7: 114619–114630. doi:  10.1109/ACCESS.2019.2936049
  • [1] 刘通, 唐伦, 何小强, 陈前斌.  融合区块链与雾计算系统中基于网络时延和资源管理的优化任务卸载方案, 电子与信息学报. doi: 10.11999/JEIT190654
    [2] 胡荣磊, 陈雷, 段晓毅, 于秉琪.  一种适用于雾计算的终端节点切换认证协议, 电子与信息学报. doi: 10.11999/JEIT200005
    [3] 杨燕, 王志伟.  基于均值不等关系优化的自适应图像去雾算法, 电子与信息学报. doi: 10.11999/JEIT190368
    [4] 杨爱萍, 王南, 庞彦伟, 杨苏辉.  人工光源条件下夜间雾天图像建模及去雾, 电子与信息学报. doi: 10.11999/JEIT170704
    [5] 孙士洁, 赵怀慈, 李波, 郝明国, 吕进锋.  利用低秩先验的噪声模糊图像盲去卷积, 电子与信息学报. doi: 10.11999/JEIT161206
    [6] 肖满生, 肖哲, 文志诚, 周立前.  一种空间相关性与隶属度平滑的FCM改进算法, 电子与信息学报. doi: 10.11999/JEIT160710
    [7] 何人杰, 樊养余, WANGZhiyong, FENGDavid.  基于非局部全变分正则化优化的单幅雾天图像恢复新方法, 电子与信息学报. doi: 10.11999/JEIT160208
    [8] 刘海波, 杨杰, 吴正平, 张庆年, 邓勇.  基于区间估计的单幅图像快速去雾, 电子与信息学报. doi: 10.11999/JEIT150403
    [9] 马时平, 李权合, 张晟翀.  一种基于反馈机制的闭环图像去雾算法, 电子与信息学报. doi: 10.11999/JEIT150494
    [10] 毕笃彦, 眭萍, 何林远, 马时平.  基于Color Lines先验的高阶马尔科夫随机场去雾, 电子与信息学报. doi: 10.11999/JEIT151308
    [11] 喻伟, 杨海钢, 刘洋, 黄娟, 蔡博睿, 陈锐.  一种考虑空间关联工艺偏差的统计静态时序分析方法, 电子与信息学报. doi: 10.11999/JEIT140295
    [12] 赵烨, 蒋建国, 洪日昌.  基于空间约束的快速鲁棒特征匹配优化, 电子与信息学报. doi: 10.3724/SP.J.1146.2013.01960
    [13] 李钊, 刘瑞雪, 王琳, 马丹.  MU-MIMO下行链路基于关联干扰的先验式用户调度, 电子与信息学报. doi: 10.3724/SP.J.1146.2013.00046
    [14] 尚佳栋, 王祖林, 郭旭静, 周倩, 何善宝.  基于二维虚拟空间平滑算法的跳频通信系统跟踪式干扰抑制研究, 电子与信息学报. doi: 10.3724/SP.J.1146.2010.00552
    [15] 董玫, 张守宏, 吴向东, 张焕颖.  一种改进的空间平滑算法, 电子与信息学报. doi: 10.3724/SP.J.1146.2006.01519
    [16] 秦洁, 刘兵章, 张欣, 杨大成.  一种基于CDMA系统的MPEG-4视频传输速率平滑算法, 电子与信息学报. doi: 10.3724/SP.J.1146.2005.01597
    [17] 康显桂, ZhuangXin-hua.  视频质量平滑中恒定SNR比特分配, 电子与信息学报. doi: 10.3724/SP.J.1146.2006.00232
    [18] 丁前军, 王永良, 张永顺, 陈辉.  一种虚拟波束形成自适应加权空间平滑算法, 电子与信息学报.
    [19] 张维连, 徐岳生, 刘彩池, 唐键.  p型硅片表面氧化雾缺陷的吸除, 电子与信息学报.
    [20] 赵滨生, 陆仲良.  估计相干源到达方位角的双向空间平滑技术, 电子与信息学报.
  • 加载中
  • 图(5) / 表ll (2)
    计量
    • 文章访问数:  232
    • HTML全文浏览量:  129
    • PDF下载量:  38
    • 被引次数: 0
    出版历程
    • 收稿日期:  2019-06-05
    • 修回日期:  2020-06-22
    • 网络出版日期:  2020-07-17
    • 刊出日期:  2020-11-10

    目录

      /

      返回文章
      返回

      官方微信,欢迎关注