高级搜索

夜视抗晕光融合图像自适应分区质量评价

郭全民 柴改霞 李翰山

引用本文: 郭全民, 柴改霞, 李翰山. 夜视抗晕光融合图像自适应分区质量评价[J]. 电子与信息学报, 2020, 42(7): 1750-1757. doi: 10.11999/JEIT190453 shu
Citation:  Quanmin GUO, Gaixia CHAI, Hanshan LI. Quality Evaluation of Night Vision Anti-halation Fusion Image Based on Adaptive Partition[J]. Journal of Electronics and Information Technology, 2020, 42(7): 1750-1757. doi: 10.11999/JEIT190453 shu

夜视抗晕光融合图像自适应分区质量评价

    作者简介: 郭全民: 男,1974年生,博士,教授,研究方向为智能感知与信息融合、图像处理及机器视觉;
    柴改霞: 女,1993年生,硕士,研究方向为图像处理及机器视觉;
    李翰山: 男,1986年生,博士,教授,研究方向为智能传感与信息处理、图像处理及机器视觉
    通讯作者: 郭全民,guoqm@163.com
  • 基金项目: 国家自然科学基金(61773305),陕西省重点研发计划项目(2019GY-094)

摘要: 针对夜视晕光场景中,高亮度晕光信息导致现有红外与可见光融合图像评价方法失效的问题,该文提出一种自适应分区的融合图像质量评价方法。该方法根据可见光图像的晕光程度自动确定自适应系数,并通过迭代计算可见光灰度图像的晕光临界灰度值,将融合图像自动分为多个晕光区和非晕光区;在晕光区由设计的晕光消除度指标评价融合图像的晕光消除效果;在非晕光区从融合图像自身特性、对原始图像信息保留程度以及人眼视觉效果3方面评价融合图像纹理色彩等细节信息的增强效果;通过对4种不同抗晕光算法的融合图像进行评价分析,甄选出9种客观评价指标构成夜视抗晕光融合图像质量评价体系。不同夜视晕光场景下的实验结果表明,所提方法能够全面、合理地评价红外与可见光融合的抗晕光图像质量,解决了融合图像晕光消除越彻底客观评价结果反而越差的问题,也适于评判不同抗晕光融合算法的优劣。

English

    1. [1]

      MÅRSELL E, BOSTRÖM E, HARTH A, et al. Spatial control of multiphoton electron excitations in InAs nanowires by varying crystal phase and light polarization[J]. Nano Letters, 2018, 18(2): 907–915. doi: 10.1021/acs.nanolett.7b04267

    2. [2]

      朱美萍, 孙建, 张伟丽, 等. 高性能偏振膜的研制[J]. 光学 精密工程, 2016, 24(12): 2908–2915. doi: 10.3788/OPE.20162412.2908
      ZHU Meiping, SUN Jian, ZHANG Weili, et al. Development of high performance polarizer coatings[J]. Optics and Precision Engineering, 2016, 24(12): 2908–2915. doi: 10.3788/OPE.20162412.2908

    3. [3]

      CHRZANOWSKI K. Review of night vision technology[J]. Opto-Electronics Review, 2013, 21(2): 153–181. doi: 10.2478/s11772-013-0089-3

    4. [4]

      KWAK J Y, KO B C, and NAM J Y. Pedestrian tracking using online boosted random ferns learning in far -infrared imagery for safe driving at night[J]. IEEE Transactions on Intelligent Transportation System, 2017, 18(1): 69–81. doi: 10.1109/TITS.2016.2569159

    5. [5]

      JEONG M R, KWAK J Y, SON J E, et al. Fast pedestrian detection using a night vision system for safety driving[C]. The 11th International Conference on Computer Graphics, Imaging and Visualization, Singapore, 2014: 69–72. doi: 10.1109/CGiV.2014.25.

    6. [6]

      BOSIERS J T, KLEIMANN A C, VAN KUIJK H C, et al. Frame transfer CCDs for digital still cameras: Concept, design, and evaluation[J]. IEEE Transactions on Electron Devices, 2002, 49(3): 377–386. doi: 10.1109/16.987106

    7. [7]

      王健, 高勇, 雷志勇, 等. 基于双CCD图像传感器的汽车抗晕光方法研究[J]. 传感技术学报, 2007, 20(5): 1053–1056. doi: 10.3969/j.issn.1004-1699.2007.05.023
      WANG Jian, GAO Yong, LEI Zhiyong, et al. Research of auto anti-blooming method based on double CCD image sensor[J]. Chinese Journal of Sensors and Actuators, 2007, 20(5): 1053–1056. doi: 10.3969/j.issn.1004-1699.2007.05.023

    8. [8]

      GUO Quanmin and LI Xiaoling. Car anti-blooming method based on visible and infrared image fusion[J]. Naukovyi Visnyk Natsionalnoho Hirnychoho Universytetu, 2015(4): 115–121.

    9. [9]

      HU Haimiao, WU Jiawei, LI Bo, et al. An adaptive fusion algorithm for visible and infrared videos based on entropy and the cumulative distribution of gray levels[J]. IEEE Transactions on Multimedia, 2017, 19(12): 2706–2719. doi: 10.1109/TMM.2017.2711422

    10. [10]

      QIAO Tiezhu, CHEN Lulu, PANG Yusong, et al. Integrative multi-spectral sensor device for far-infrared and visible light fusion[J]. Photonic Sensors, 2018, 8(2): 134–145. doi: 10.1007/s13320-018-0401-4

    11. [11]

      陈清江, 张彦博, 柴昱洲, 等. 有限离散剪切波域的红外可见光图像融合[J]. 中国光学, 2016, 9(5): 523–531. doi: 10.3788/CO.20160905.0523
      CHEN Qingjiang, ZHANG Yanbo, CHAI Yuzhou, et al. Fusion of infrared and visible images based on finite discrete shearlet domain[J]. Chinese Optics, 2016, 9(5): 523–531. doi: 10.3788/CO.20160905.0523

    12. [12]

      江泽涛, 吴辉, 周哓玲. 基于改进引导滤波和双通道脉冲发放皮层模型的红外与可见光图像融合算法[J]. 光学学报, 2018, 38(2): 0210002. doi: 10.3788/AOS201838.0210002
      JIANG Zetao, WU Hui, and ZHOU Xiaoling. Infrared and visible image fusion algorithm based on improved guided filtering and dual-channel spiking cortical model[J]. Acta Optica Sinica, 2018, 38(2): 0210002. doi: 10.3788/AOS201838.0210002

    13. [13]

      LI Leida, XIA Wenhan, LIN Weisi, et al. No-reference and robust image sharpness evaluation based on multiscale spatial and spectral features[J]. IEEE Transactions on Multimedia, 2017, 19(5): 1030–1040. doi: 10.1109/TMM.2016.2640762

    14. [14]

      JAIN A and BHATEJA V. A full-reference image quality metric for objective evaluation in spatial domain[C]. 2011 International Conference on Communication and Industrial Application, Kolkata, India, 2011. doi: 10.1109/ICCIndA.2011.6146668.

    15. [15]

      CHEN Guo, LI Li, JIN Weiqi, et al. Image contrast enhancement method based on display and human visual system characteristics[J]. Applied Optics, 2019, 58(7): 1813–1823. doi: 10.1364/AO.58.001813

    16. [16]

      XU Hailong, CHEN Yong, GU Dexian, et al. Evaluating goodness-of-fit in comparison of different expressions for length-weight relationship in fishery resources[J]. Applied Mechanics and Materials, 2014, 651-653: 337–343. doi: 10.4028/www.scientific.net/AMM.651-653.337

    17. [17]

      徐正光, 鲍东来, 张利欣. 基于递归的二值图像连通域像素标记算法[J]. 计算机工程, 2006, 32(24): 186–188, 225. doi: 10.3969/j.issn.1000-3428.2006.24.067
      XU Zhengguang, BAO Donglai, and ZHANG Lixin. Pixel labeled algorithm based on recursive method of connecting area in binary images[J]. Computer Engineering, 2006, 32(24): 186–188, 225. doi: 10.3969/j.issn.1000-3428.2006.24.067

    18. [18]

      叶盛楠, 苏开娜, 肖创柏, 等. 基于结构信息提取的图像质量评价[J]. 电子学报, 2008, 36(5): 856–861. doi: 10.3321/j.issn:0372-2112.2008.05.005
      YE Shengnan, SU Kaina, XIAO Chuagbai, et al. Image quality assessment based on structural information extraction[J]. Acta Electronica Sinica, 2008, 36(5): 856–861. doi: 10.3321/j.issn:0372-2112.2008.05.005

    19. [19]

      郭全民, 王言, 李翰山. 改进IHS-Curvelet变换融合可见光与红外图像抗晕光方法[J]. 红外与激光工程, 2018, 47(11): 1126002. doi: 10.3788/IRLA201847.1126002
      GUO Quanmin, WANG Yan, and LI Hanshan. Anti-halation method of visible and infrared image fusion based on improved IHS-Curvelet transform[J]. Infrared and Laser Engineering, 2018, 47(11): 1126002. doi: 10.3788/IRLA201847.1126002

    20. [20]

      郭全民, 董亮, 李代娣. 红外与可见光图像融合的汽车抗晕光系统[J]. 红外与激光工程, 2017, 46(8): 0818005. doi: 10.3788/IRLA201746.0818005
      GUO Quanmin, DONG Liang, and LI Daidi. Vehicles anti- halation system based on infrared and visible images fusion[J]. Infrared and Laser Engineering, 2017, 46(8): 0818005. doi: 10.3788/IRLA201746.0818005

    21. [21]

      YU Tianshu and WANG Ruisheng. Scene parsing using graph matching on street- view data[J]. Computer Vision and Image Understanding, 2016, 145: 70–80. doi: 10.1016/j.cviu.2016.01.004

    1. [1]

      武迎春, 王玉梅, 王安红, 赵贤凌. 基于边缘增强引导滤波的光场全聚焦图像融合. 电子与信息学报, 2020, 41(0): 1-9.

    2. [2]

      雷大江, 张策, 李智星, 吴渝. 基于多流融合生成对抗网络的遥感图像融合方法. 电子与信息学报, 2020, 41(0): 1-8.

    3. [3]

      付晓薇, 杨雪飞, 陈芳, 李曦. 一种基于深度学习的自适应医学超声图像去斑方法. 电子与信息学报, 2020, 42(7): 1782-1789.

    4. [4]

      兰红, 方治屿. 零样本图像识别. 电子与信息学报, 2020, 42(5): 1188-1200.

    5. [5]

      刘政怡, 刘俊雷, 赵鹏. 基于样本选择的RGBD图像协同显著目标检测. 电子与信息学报, 2020, 42(0): 1-8.

    6. [6]

      赵娅, 郭嘉慧, 李盼池. 一种量子图像的中值滤波方案. 电子与信息学报, 2020, 42(0): 1-8.

    7. [7]

      张惊雷, 厚雅伟. 基于改进循环生成式对抗网络的图像风格迁移. 电子与信息学报, 2020, 42(5): 1216-1222.

    8. [8]

      牛莹, 张勋才. 基于变步长约瑟夫遍历和DNA动态编码的图像加密算法. 电子与信息学报, 2020, 42(6): 1383-1391.

    9. [9]

      易诗, 吴志娟, 朱竞铭, 李欣荣, 袁学松. 基于多尺度生成对抗网络的运动散焦红外图像复原. 电子与信息学报, 2020, 42(7): 1766-1773.

    10. [10]

      许欢, 苏树智, 颜文婧, 邓瀛灏, 谢军. 面向图像识别的测地局部典型相关分析方法. 电子与信息学报, 2020, 42(0): 1-6.

    11. [11]

      胡永健, 高逸飞, 刘琲贝, 廖广军. 基于图像分割网络的深度假脸视频篡改检测. 电子与信息学报, 2020, 42(0): 1-9.

    12. [12]

      柳长源, 王琪, 毕晓君. 基于多通道多尺度卷积神经网络的单幅图像去雨方法. 电子与信息学报, 2020, 42(0): 1-8.

    13. [13]

      陈皓, 李广, 刘洋, 强永乾. 一种在MR图像中进行脑胶质瘤检测和病灶分割的方法. 电子与信息学报, 2020, 41(0): 1-11.

    14. [14]

      高云龙, 王志豪, 潘金艳, 罗斯哲, 王德鑫. 基于自适应松弛的鲁棒模糊C均值聚类算法. 电子与信息学报, 2020, 42(7): 1774-1781.

    15. [15]

      张普宁, 亢旭源, 刘宇哲, 李学芳, 吴大鹏, 王汝言. 相似度自适应估计的物联网实体高效搜索方法. 电子与信息学报, 2020, 42(7): 1702-1709.

    16. [16]

      蒲磊, 冯新喜, 侯志强, 余旺盛. 基于自适应背景选择和多检测区域的相关滤波算法. 电子与信息学报, 2020, 41(0): 1-7.

    17. [17]

      孙小君, 周晗, 闫广明. 基于新息的自适应增量Kalman滤波器. 电子与信息学报, 2020, 41(0): 1-8.

    18. [18]

      陈前斌, 管令进, 李子煜, 王兆堃, 杨恒, 唐伦. 基于深度强化学习的异构云无线接入网自适应无线资源分配算法. 电子与信息学报, 2020, 42(6): 1468-1477.

    19. [19]

      王茜竹, 方冬, 吴广富. 基于改进稀疏度自适应匹配算法的免授权非正交多址接入上行传输多用户检测. 电子与信息学报, 2020, 42(0): 1-7.

    20. [20]

      王粉花, 赵波, 黄超, 严由齐. 基于多尺度和注意力融合学习的行人重识别. 电子与信息学报, 2020, 42(0): 1-8.

  • 图 1  原始图像及融合图像

    图 2  自适应系数m的拟合曲线

    图 3  分区图像

    图 4  融合结果

    图 5  市郊道路距约5 m处的融合图像

    图 6  市郊道路距约15 m处的融合图像

    图 7  市内主干道距约20 m处的的融合图像

    图 8  不同晕光场景下的评价体系雷达图

    表 1  曲线拟合优度

    曲线SSERMSER2
    基线0.04810.03100.9487
    上界0.02930.03180.9566
    下界0.03040.03130.9559
    最优0.00420.01740.9910
    下载: 导出CSV

    表 2  晕光消除度

    算法DHE
    IHS0.7431
    曲波0.8500
    IHS-曲波0.8978
    改进IHS-曲波0.9277
    下载: 导出CSV

    表 3  无参考图像客观评价指标

    算法非晕光区融合图像未分区融合图像
    μσEAGEISFμσEAGEISF
    IHS55.511423.72014.77151.61491.30099.1389102.141725.93085.78623.989914.057610.1062
    曲波66.460428.01014.78453.50714.196214.5914105.318038.73246.87626.880718.775721.1077
    IHS-曲波72.681530.01185.47603.79877.370217.1324106.897239.44037.08127.724520.807022.9812
    改进IHS-曲波94.852230.70216.08824.33677.380819.3482104.930838.43346.64636.306315.032419.3287
    下载: 导出CSV

    表 4  全参考图像客观评价指标

    算法CEFU-VIMIFU-VIRMSEFU-VIPSNRFU-VICEFU-IRMIFU-IRRMSEFU-IRPSNRFU-IR
    IHS0.99611.181030.946858.72180.98311.093330.839260.3349
    曲波0.46551.985327.721963.76480.68501.631429.796165.5507
    IHS-曲波0.30182.513526.868364.92610.52473.182125.961767.8470
    改进 IHS-曲波0.20513.001223.700365.94100.32894.881924.911868.2431
    下载: 导出CSV

    表 5  视觉系统的客观评价指标

    算法SSIMFU-VISSIMFU-IRQAB/F
    IHS0.57920.60040.3361
    曲波0.66320.74430.4048
    IHS-曲波0.67320.75160.4539
    改进IHS-曲波0.67610.76110.5740
    下载: 导出CSV
  • 加载中
图(8)表(5)
计量
  • PDF下载量:  14
  • 文章访问数:  392
  • HTML全文浏览量:  249
文章相关
  • 通讯作者:  郭全民, guoqm@163.com
  • 收稿日期:  2019-06-20
  • 录用日期:  2019-09-25
  • 网络出版日期:  2020-01-21
  • 刊出日期:  2020-07-01
通讯作者: 陈斌, bchen63@163.com
  • 1. 

    沈阳化工大学材料科学与工程学院 沈阳 110142

  1. 本站搜索
  2. 百度学术搜索
  3. 万方数据库搜索
  4. CNKI搜索

/

返回文章