高级搜索

基于灰度变换与两尺度分解的夜视图像融合

朱浩然 刘云清 张文颖

引用本文: 朱浩然, 刘云清, 张文颖. 基于灰度变换与两尺度分解的夜视图像融合[J]. 电子与信息学报, 2019, 41(3): 640-648. doi: 10.11999/JEIT180407 shu
Citation:  Haoran ZHU, Yunqing LIU, Wenying ZHANG. Night-vision Image Fusion Based on Intensity Transformation and Two-scale Decomposition[J]. Journal of Electronics and Information Technology, 2019, 41(3): 640-648. doi: 10.11999/JEIT180407 shu

基于灰度变换与两尺度分解的夜视图像融合

    作者简介: 朱浩然: 男,1987年生,博士生,研究方向为图像融合、图像增强等;
    刘云清: 男,1970年生,教授,博士生导师,主要研究方向为自动控制与测试技术等;
    张文颖: 女,1988年生,博士生,研究方向为光电测量与精密仪器等
    通讯作者: 刘云清,mzliuyunqing@163.com
摘要: 为了获得更适合人感知的夜视融合图像,该文提出一种基于灰度变换与两尺度分解的夜视图像融合算法。首先,利用红外像素值作为指数因子对可见光图像进行灰度转换,在达到可见光图像增强的同时还使可见光与红外图像融合任务转换为同类图像融合。其次,通过均值滤波对增强结果与原始可见光图像进行两尺度分解。再次,运用基于视觉权重图的方法融合细节层。最后,综合这些结果重构出融合图像。由于该文方法在可见光波段显示结果,因此融合图像更适合视觉感知。实验结果表明,所提方法在视觉质量和客观评价方面优于其它5种对比方法,融合时间小于0.2 s,满足实时性要求。融合后图像背景细节信息清晰,热目标突出,同时降低处理时间。

English

    1. [1]

      冯鑫, 张建华, 胡开群, 等. 基于变分多尺度的红外与可见光图像融合[J]. 电子学报, 2018, 46(3): 680–687. doi: 10.3969/j.issn.0372-2112.2018.03.025
      FENG Xin, ZHANG Jianhua, HU Kaiqun, et al. The infrared and visible image fusion method based on variational multiscale[J]. Acta Electronica Sinica, 2018, 46(3): 680–687. doi: 10.3969/j.issn.0372-2112.2018.03.025

    2. [2]

      江泽涛, 吴辉, 周哓玲. 基于改进引导滤波和双通道脉冲发放皮层模型的红外与可见光图像融合算法[J]. 光学学报, 2018, 38(2): 112–120. doi: 10.3788/aos201838.0210002
      JIANG Zetao, WU Hui, and ZHOU Xiaoling. Infrared and visible image fusion algorithm based on improved guided filtering and dual-channel spiking cortical model[J]. Acta Optica Sinica, 2018, 38(2): 112–120. doi: 10.3788/aos201838.0210002

    3. [3]

      LI Jinxi, ZHOU Dingfu, YUAN Sheng, et al. Modified image fusion technique to remove defocus noise in optical scanning holography[J]. Optics Communications, 2018, 407(15): 234–238. doi: 10.1016/j.optcom.2017.08.057

    4. [4]

      YIN Xiang and MA Jun. Image fusion method based on entropy rate segmentation and multi-scale decomposition[J]. Laser & Optoelectronics Progress, 2018, 55(1): 1–8. doi: 10.3788/LOP55.011011

    5. [5]

      LI Shutao, KANG Xudong, and HU Jianwen. Image fusion with guided filtering[J]. IEEE Transactions on Image Processing: A Publication of the IEEE Signal Processing Society, 2013, 22(7): 2864–2875. doi: 10.1109/TIP.2013.2244222

    6. [6]

      LEWIS J J, O'CALLAGHAN R J, NIKOLOV S G, et al. Pixel- and region-based image fusion with complex wavelets[J]. Information Fusion, 2007, 8(2): 119–130. doi: 10.1016/j.inffus.2005.09.006

    7. [7]

      KUMAR B K S. Image fusion based on pixel significance using cross bilateral filter[J]. Signal, Image and Video Processing, 2015, 9(5): 1193–1204. doi: 10.1007/s11760-013-0556-9

    8. [8]

      谢伟, 周玉钦, 游敏. 融合梯度信息的改进引导滤波[J]. 中国图象图形学报, 2016, 21(9): 1119–1126. doi: 10.11834/jig.20160901
      XIE Wei, ZHOU Yuqin, and YOU Min. Improved guided image filtering integrated with gradient information[J]. Journal of Image and Graphics, 2016, 21(9): 1119–1126. doi: 10.11834/jig.20160901

    9. [9]

      ZUO Yujia, LIU Jinghong, BAI Guanbing, et al. Airborne infrared and visible image fusion combined with region segmentation[J]. Sensors, 2017, 17(5): 1–15. doi: 10.3390/s17051127

    10. [10]

      TAO Li, NGO Hau, ZHANG Ming, et al. A multisensory image fusion and enhancement system for assisting drivers in poor lighting conditions[C]. Proceedings of the 34th Applied Imagery and Pattern Recognition Workshop, Washington, USA, 2005: 106–113.

    11. [11]

      CHANDRASHEKAR L and SREEDEVI A. Advances in biomedical imaging and image fusion[J]. International Journal of Computer Applications, 2018, 179(24): 1–9. doi: 10.5120/ijca2018912307

    12. [12]

      LIU Yu, CHEN Xun, PENG Hu, et al. Multi-focus image fusion with a deep convolutional neural network[J]. Information Fusion, 2017, 36(7): 191–207. doi: 10.1016/j.inffus.2016.12.001

    13. [13]

      刘峰, 沈同圣, 马新星. 交叉双边滤波和视觉权重信息的图像融合[J]. 仪器仪表学报, 2017, 38(4): 1005–1013. doi: 10.3969/j.issn.0254-3087.2017.04.027
      LIU Feng, SHEN Tongsheng, and MA Xinxing. Image fusion via cross bilateral filter and visual weight information[J]. Chinese Journal of Scientific Instrument, 2017, 38(4): 1005–1013. doi: 10.3969/j.issn.0254-3087.2017.04.027

    14. [14]

      ZHAO Jufeng, FENG Huajun, XU Zhihai, et al. Detail enhanced multi-source fusion using visual weight map extraction based on multi scale edge preserving decomposition[J]. Optics Communications, 2013, 287(2): 45–52. doi: 10.1016/j.optcom.2012.08.070

    15. [15]

      LIU Zhaodong, CHAI Yi, YIN Hongpeng, et al. A novel multi-focus image fusion approach based on image decomposition[J]. Information Fusion, 2017, 35(5): 102–116. doi: 10.1016/j.inffus.2016.09.007

    16. [16]

      孙彦景, 杨玉芬, 刘东林, 等. 基于内在生成机制的多尺度结构相似性图像质量评价[J]. 电子与信息学报, 2016, 38(1): 127–134. doi: 10.11999/JEIT150616
      SUN Yanjing, YANG Yufen, LIU Donglin, et al. Multiple-scale structural similarity image quality assessment based on internal generative mechanism[J]. Journal of Electronics &Information Technology, 2016, 38(1): 127–134. doi: 10.11999/JEIT150616

    17. [17]

      LI Jun, SONG Minghui, and PENG Yuanxi. Infrared and visible image fusion based on robust principal component analysis and compressed sensing[J]. Infrared Physics & Technology, 2018, 89(3): 129–139. doi: 10.1016/j.infrared.2018.01.003

    18. [18]

      刘国军, 高丽霞, 陈丽奇. 广义平均的全参考型图像质量评价池化策略[J]. 光学精密工程, 2017, 25(3): 742–748. doi: 10.3788/OPE.20172503.0742
      LIU Guojun, GAO Lixia, and CHEN Liqi. Pool strategy for full-reference IQA via general means[J]. Optics and Precision Engineering, 2017, 25(3): 742–748. doi: 10.3788/OPE.20172503.0742

    19. [19]

      曲怀敬, 李健. 基于混合统计建模的图像融合[J]. 计算机辅助设计与图形学学报, 2017, 29(5): 838–845. doi: 10.3969/j.issn.1003-9775.2017.05.007
      QU Huaijing and LI Jian. Image fusion based on statistical mixture modeling[J]. Journal of Computer-Aided Design &Computer Graphics, 2017, 29(5): 838–845. doi: 10.3969/j.issn.1003-9775.2017.05.007

    20. [20]

      朱攀, 刘泽阳, 黄战华. 基于DTCWT和稀疏表示的红外偏振与光强图像融合[J]. 光子学报, 2017, 46(12): 213–221. doi: 10.3788/gzxb20174612.1210002
      ZHU Pan, LIU Zeyang, and HUANG Zhanhua. Infrared polarization and intensity image fusion based on dual-tree complex wavelet transform and sparse representation[J]. Acta Photonica Sinica, 2017, 46(12): 213–221. doi: 10.3788/gzxb20174612.1210002

    1. [1]

      刘政怡, 段群涛, 石松, 赵鹏. 基于多模态特征融合监督的RGB-D图像显著性检测. 电子与信息学报, 2019, 41(0): 1-8.

    2. [2]

      余映, 吴青龙, 邵凯旋, 康迂星, 杨鉴. 超复数域小波变换的显著性检测. 电子与信息学报, 2019, 41(9): 2231-2238.

    3. [3]

      唐红梅, 王碧莹, 韩力英, 周亚同. 基于目标紧密性与区域同质性策略的图像显著性检测. 电子与信息学报, 2019, 41(10): 2532-2540.

    4. [4]

      李炜, 李全龙, 刘政怡. 基于加权的K近邻线性混合显著性目标检测. 电子与信息学报, 2019, 41(10): 2442-2449.

    5. [5]

      赵斐, 张文凯, 闫志远, 于泓峰, 刁文辉. 基于多特征图金字塔融合深度网络的遥感图像语义分割. 电子与信息学报, 2019, 41(10): 2525-2531.

    6. [6]

      张玉, 李天琪, 张进, 唐波. 基于集成固有时间尺度分解的IFF辐射源个体识别算法. 电子与信息学报, 2019, 41(0): 1-8.

    7. [7]

      黄果, 许黎, 陈庆利, 蒲亦非. 非局部多尺度分数阶微分图像增强算法研究. 电子与信息学报, 2019, 41(0): 1-8.

    8. [8]

      牛燕雄, 陈梦琪, 张贺. 基于尺度不变特征变换的快速景象匹配方法. 电子与信息学报, 2019, 41(3): 626-631.

    9. [9]

      陈艳浩, 刘中艳, 周丽宴. 基于差异混合掩码与混沌Gyrator变换的光学图像加密算法. 电子与信息学报, 2019, 41(4): 888-895.

    10. [10]

      陈莹, 何丹丹. 基于贝叶斯融合的时空流异常行为检测模型. 电子与信息学报, 2019, 41(5): 1137-1144.

    11. [11]

      陈家祯, 吴为民, 郑子华, 叶锋, 连桂仁, 许力. 基于虚拟光学的视觉显著目标可控放大重建. 电子与信息学报, 2019, 41(0): 1-7.

    12. [12]

      赵明, 闫寒, 曹高峰, 刘昕鸿. 融合用户信任度和相似度的基于核心用户抽取的鲁棒性推荐算法. 电子与信息学报, 2019, 41(1): 180-186.

    13. [13]

      毕秀丽, 魏杨, 肖斌, 李伟生, 马建峰. 基于级联卷积神经网络的图像篡改检测算法. 电子与信息学报, 2019, 41(0): 1-8.

    14. [14]

      李健伟, 曲长文, 彭书娟, 江源. 基于生成对抗网络和线上难例挖掘的SAR图像舰船目标检测. 电子与信息学报, 2019, 41(1): 143-149.

    15. [15]

      孟令博, 耿修瑞. 基于协峭度张量的高光谱图像异常检测. 电子与信息学报, 2019, 41(1): 150-155.

    16. [16]

      刘浩, 孙晓帆, 张鑫生, 吴乐明, 况奇刚. 面向图像集的置信区间内一致性增强质量评价准则. 电子与信息学报, 2019, 41(1): 219-225.

    17. [17]

      蒲磊, 冯新喜, 侯志强, 余旺盛. 基于空间可靠性约束的鲁棒视觉跟踪算法. 电子与信息学报, 2019, 41(7): 1650-1657.

    18. [18]

      吴超, 李雅倩, 张亚茹, 刘彬. 用于表示级特征融合与分类的相关熵融合极限学习机. 电子与信息学报, 2019, 41(0): 1-8.

    19. [19]

      刘政怡, 徐天泽. 基于优化的极限学习机和深度层次的RGB-D显著检测. 电子与信息学报, 2019, 41(9): 2224-2230.

    20. [20]

      熊娣, 王俊岭, 赵莉芝, 钟山, 高梅国. 基于酉ESPRIT的多频带融合ISAR成像. 电子与信息学报, 2019, 41(2): 285-292.

  • 图 1  HE与本文方法结果比较

    图 2  提出的图像融合方法的框架

    图 3  视觉显著性检测的原理图

    图 4  权重图

    图 5  不同方法对源图像“Quad”的融合结果比较

    图 6  不同方法对源图像“UNcamp”的融合结果比较

    图 7  不同方法对源图像“Kaptein”的融合结果比较

    图 8  不同方法对源图像“Steamboat”的融合结果比较

    图 9  不同方法的客观性能指标平均值比较

    表 1  不同融合方法的客观性能指标

    图像评价指标LAPROLPCVTDTCWTADF本文方法
    $\mathop \mu \limits^ \wedge $52.506755.502551.900551.898351.775670.1690
    Quad$\sigma $31.561628.262425.180425.268221.989434.3756
    ${E_f}$6.47296.10936.16926.15866.03986.7689
    $\mathop \mu \limits^ \wedge $90.814996.305291.086891.078891.1387124.2739
    UNcamp$\sigma $29.129227.730126.939126.276023.226538.3262
    ${E_f}$6.65506.55086.53106.48476.28657.2638
    $\mathop \mu \limits^ \wedge $82.178886.197982.101082.076682.0353122.6444
    Kaptein$\sigma $36.264935.791834.158233.615231.690251.6181
    ${E_f}$6.77636.79116.77796.70546.60477.4176
    $\mathop \mu \limits^ \wedge $110.9204113.3709110.9161110.9148110.9183163.6281
    Steamboat$\sigma $14.074313.831912.470012.316011.078626.4028
    ${E_f}$5.30715.35955.20875.13775.00495.9645
    下载: 导出CSV

    表 2  处理时间对比(s)

    图像大小LAPROLPCVTDTCWTADF本文方法
    Quad496×6320.01930.19311.99940.52880.92670.1681
    UNcamp270×3600.00940.10761.22810.24800.32250.1021
    Kaptein450×6200.02030.19191.83080.48910.85700.1341
    Steamboat510×5050.01270.17711.70490.44340.84720.1192
    平均0.02470.16741.69080.42730.73840.1309
    下载: 导出CSV
  • 加载中
图(9)表(2)
计量
  • PDF下载量:  41
  • 文章访问数:  379
  • HTML全文浏览量:  174
文章相关
  • 通讯作者:  刘云清, mzliuyunqing@163.com
  • 收稿日期:  2017-05-02
  • 录用日期:  2018-10-18
  • 网络出版日期:  2018-10-31
  • 刊出日期:  2019-03-01
通讯作者: 陈斌, bchen63@163.com
  • 1. 

    沈阳化工大学材料科学与工程学院 沈阳 110142

  1. 本站搜索
  2. 百度学术搜索
  3. 万方数据库搜索
  4. CNKI搜索

/

返回文章