高级搜索

留言板

尊敬的读者、作者、审稿人, 关于本刊的投稿、审稿、编辑和出版的任何问题, 您可以本页添加留言。我们将尽快给您答复。谢谢您的支持!

姓名
邮箱
手机号码
标题
留言内容
验证码

采用双通道卷积神经网络构建的随机脉冲噪声深度降噪模型

徐少平 林珍玉 崔燕 刘蕊蕊 杨晓辉

徐少平, 林珍玉, 崔燕, 刘蕊蕊, 杨晓辉. 采用双通道卷积神经网络构建的随机脉冲噪声深度降噪模型[J]. 电子与信息学报. doi: 10.11999/JEIT190796
引用本文: 徐少平, 林珍玉, 崔燕, 刘蕊蕊, 杨晓辉. 采用双通道卷积神经网络构建的随机脉冲噪声深度降噪模型[J]. 电子与信息学报. doi: 10.11999/JEIT190796
Shaoping XU, Zhenyu LIN, Yan CUI, Ruirui LIU, Xiaohui YANG. A Dual-Channel Deep Convolutional Neural Network Model for Random-Valued Impulse Noise Removal[J]. Journal of Electronics and Information Technology. doi: 10.11999/JEIT190796
Citation: Shaoping XU, Zhenyu LIN, Yan CUI, Ruirui LIU, Xiaohui YANG. A Dual-Channel Deep Convolutional Neural Network Model for Random-Valued Impulse Noise Removal[J]. Journal of Electronics and Information Technology. doi: 10.11999/JEIT190796

采用双通道卷积神经网络构建的随机脉冲噪声深度降噪模型

doi: 10.11999/JEIT190796
基金项目: 国家自然科学基金(61662044, 61163023),江西省自然科学基金(20171BAB202017)
详细信息
    作者简介:

    徐少平:男,1976年生,博士,教授,博士生导师,主要研究方向为图形图像处理技术、机器视觉、虚拟手术仿真

    林珍玉:女,1996年生,硕士生,研究方向为图形图像处理技术、机器视觉

    崔燕:女,1996年生,硕士生,研究方向为图形图像处理技术、机器视觉

    刘蕊蕊:女,1995年生,硕士生,研究方向为图形图像处理技术、机器视觉

    杨晓辉:男,1978年生,博士,副教授,主要研究方向为故障诊断及图像处理

    通讯作者:

    徐少平 xushaoping@ncu.edu.cn

  • 中图分类号: TN911.73; TP391

A Dual-Channel Deep Convolutional Neural Network Model for Random-Valued Impulse Noise Removal

Funds: The National Natural Science Foundation of China (61662044, 61163023), The Natural Science Foundation of Jiangxi Province (20171BAB202017)
  • 摘要: 为提高对随机脉冲噪声(RVIN)图像的降噪效果,该文提出一种被称为双通道降噪卷积神经网络(D-DnCNN)的RVIN深度降噪模型。首先,提取多个不同阶对数差值排序(ROLD)统计值及1个边缘特征统计值构成描述图块中心像素点是否为RVIN噪声的噪声感知特征矢量。其次,利用预先训练好的深度置信网络(DBN)预测模型实现特征矢量到噪声标签的映射,完成对噪声图像中噪声点的检测。再次,在噪声检测标签的指示下采用Delaunay三角剖分插值算法快速修复噪声像素点从而获得初步复原图像。最后,将初步复原图像作为参考图像与噪声图像联接(concatenate)后输入D-DnCNN模型后获得残差图像,将参考图像减去残差图像即可获得降噪后图像。实验数据表明:D-DnCNN模型在各个噪声比例下的降噪效果均显著超过了现有的经典开关型RVIN降噪算法,与普通的单通道RVIN深度降噪模型相比也有较大幅度提升。
  • 图  1  基于DBN的噪声标签矩阵生成流程

    图  2  利用Delaunay三角剖分插值算法对Lena噪声图像复原效果.

    图  3  带辅助通道的CNN深度卷积神经网络的RVIN降噪模型框架

    图  4  各算法对Lena图像降噪的效果对比.

    表  1  DBN网络在Set12测试集图像上的预测准确性

    图像20%噪声40%噪声60%噪声检测正确率均值
    FalseMissAccuracyFalseMissAccuracyFalseMissAccuracy
    Cameraman83822570.9528191439520.9105386340620.87910.9141
    House20918960.967991136650.9302243041230.90000.9327
    Peppers40025240.9554125444020.9137346244890.87870.9159
    Starfish53632170.9427159457530.8879555846470.84430.8916
    Monarch48927760.9502177347880.8999429143130.86870.9063
    Airplane110825160.9447197945140.9009428642030.87050.9054
    Parrot58827230.9495187744650.9032437442040.86910.9073
    Lena75583030.96542342155740.93179976173360.89580.9310
    Barbara2219123930.94438329221470.883725515185550.83190.8866
    Boat1758106200.95645318190010.907216137186450.86730.9103
    Man171497170.95643976177120.917313760184590.87710.9169
    Couple2027110490.95015553196950.903716993190320.86260.9055
    下载: 导出CSV

    表  2  不同噪声比例下各个降噪算法在BSD68测试图像集上所获得的PSNR均值 (dB)

    算法噪声比例(%)
    102030405060
    ROLD-EPR30.2428.2626.9725.9625.0423.98
    ASWM28.9027.9927.0125.8223.8421.05
    ROR-NLM27.2926.6725.8824.6922.7320.14
    WCSR30.1127.9326.5525.5124.5223.49
    ALOHA31.7529.0425.1323.7421.8118.79
    WIN5-RB34.6731.4629.0227.1125.4623.68
    RED-Net33.1130.6828.8727.2925.8124.37
    LSM-NLR28.8626.8525.5924.6323.7622.86
    S-DnCNN35.76 32.4130.1027.7926.1524.20
    本文D-DnCNN35.7132.72 30.56 28.62 26.76 25.31
    下载: 导出CSV

    表  3  D-DnCNN与S-DnCNN算法在真实噪声图像集上降噪效果PSNR对比(dB)

    对比算法图像编号均值
    12345678910
    S-DnCNN46.8543.7952.9849.6447.5443.5252.4743.5842.2440.6646.32
    本文D-DnCNN47.4544.5654.2050.3248.2744.1053.8145.2643.1743.1747.43
    下载: 导出CSV

    表  4  各算法执行时间的比较(s)

    算法执行时间算法执行时间
    ROLD-EPR5.6WIN5RB22.8
    ASWM86.3LSM-NLR257.2
    ROR-NLM43.1RED-Net5.3
    WCSR1085.1S-DnCNN4.1
    ALOHA1875.2D-DnCNN5.3
    下载: 导出CSV
  • [1] 马济通, 邱天爽, 李蓉, 等. 脉冲噪声下基于Renyi熵的分数低阶双模盲均衡算法[J]. 电子与信息学报, 2018, 40(2): 378–385. doi:  10.11999/JEIT170366

    MA Jitong, QIU Tianshuang, LI Rong, et al. Dual-mode blind equalization algorithm based on Renyi entropy and fractional lower order statistics under impulsive noise[J]. Journal of Electronics &Information Technology, 2018, 40(2): 378–385. doi:  10.11999/JEIT170366
    [2] 徐少平, 张贵珍, 李崇禧, 等. 基于深度置信网络的随机脉冲噪声快速检测算法[J]. 电子与信息学报, 2019, 41(5): 1130–1136. doi:  10.11999/JEIT180558

    XU Shaoping, ZHANG Guizhen, LI Chongxi, et al. A fast random-valued impulse noise detection algorithm based on deep belief network[J]. Journal of Electronics &Information Technology, 2019, 41(5): 1130–1136. doi:  10.11999/JEIT180558
    [3] GARNETT R, HUEGERICH T, CHUI C, et al. A universal noise removal algorithm with an impulse detector[J]. IEEE Transactions on Image Processing, 2005, 14(11): 1747–1754. doi:  10.1109/TIP.2005.857261
    [4] DONG Yiqiu, CHAN R H, and XU Shufang. A detection statistic for random-valued impulse noise[J]. IEEE Transactions on Image Processing, 2007, 16(4): 1112–1120. doi:  10.1109/TIP.2006.891348
    [5] ROY A, SINGHA J, DEVI S S, et al. Impulse noise removal using SVM classification based fuzzy filter from gray scale images[J]. Signal Processing, 2016, 128: 262–273. doi:  10.1016/j.sigpro.2016.04.007
    [6] SOLEIMANY S and HAMGHALAM M. A novel random-valued impulse noise detector based on MLP neural network classifier[C]. 2017 Artificial Intelligence and Robotics, Qazvin, Iran, 2017: 165–169. doi: 10.1109/RIOS.2017.7956461.
    [7] ZHANG Kai, ZUO Wangmeng, CHEN Yunjin, et al. Beyond a Gaussian denoiser: Residual learning of deep CNN for image denoising[J]. IEEE Transactions on Image Processing, 2017, 26(7): 3142–3155. doi:  10.1109/TIP.2017.2662206
    [8] ZHANG Kai, ZUO Wangmeng, and ZHANG Lei. FFDNet: Toward a fast and flexible solution for CNN-based image denoising[J]. IEEE Transactions on Image Processing, 2018, 27(9): 4608–4622. doi:  10.1109/TIP.2018.2839891
    [9] GUO Shi, YAN Zifei, ZHANG Kai, et al. Toward convolutional blind denoising of real photographs[C]. 2019 IEEE/CVF Conference on Computer Vision and Pattern Recognition, Long Beach, USA, 2019: 1712–1722. doi: 10.1109/CVPR.2019.00181.
    [10] YU Hancheng, ZHAO Li, and WANG Haixian. An efficient procedure for removing random-valued impulse noise in images[J]. IEEE Signal Processing Letters, 2008, 15: 922–925. doi:  10.1109/LSP.2008.2005051
    [11] SUN Jiande, LIU Xiaocui, WAN Wenbo, et al. Video hashing based on appearance and attention features fusion via DBN[J]. Neurocomputing, 2016, 213: 84–94. doi:  10.1016/j.neucom.2016.05.098
    [12] AKKOUL S, LEDEE R, LECONGE R, et al. A new adaptive switching median filter[J]. IEEE Signal Processing Letters, 2010, 17(6): 587–590. doi:  10.1109/LSP.2010.2048646
    [13] XIONG Bo and YIN Zhouping. A universal denoising framework with a new impulse detector and nonlocal means[J]. IEEE Transactions on Image Processing, 2012, 21(4): 1663–1675. doi:  10.1109/TIP.2011.2172804
    [14] CHEN C L P, LIU Licheng, CHEN Long, et al. Weighted couple sparse representation with classified regularization for impulse noise removal[J]. IEEE Transactions on Image Processing, 2015, 24(11): 4014–4026. doi:  10.1109/TIP.2015.2456432
    [15] JIN K H and YE J C. Sparse and low-rank decomposition of a Hankel structured matrix for impulse noise removal[J]. IEEE Transactions on Image Processing, 2018, 27(3): 1448–1461. doi:  10.1109/TIP.2017.2771471
    [16] LIU Peng and FANG Ruogu. Learning pixel-distribution prior with wider convolution for image denoising[EB/OL]. https://arxiv.org/abs/1707.09135, 2017.
    [17] MAO Xiaojiao, SHEN Chunhua, and YANG Yubin. Image restoration using very deep convolutional encoder-decoder networks with symmetric skip connections[C]. The 30th International Conference on Neural Information Processing Systems, Barcelona, Spain, 2016: 2810–2818.
    [18] HUANG Tao, DONG Weisheng, XIE Xuemei, et al. Mixed noise removal via Laplacian scale mixture modeling and nonlocal low-rank approximation[J]. IEEE Transactions on Image Processing, 2017, 26(7): 3171–3186. doi:  10.1109/TIP.2017.2676466
    [19] ARBELÁEZ P, MAIRE M, FOWLKES C, et al. Contour detection and hierarchical image segmentation[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2011, 33(5): 898–916. doi:  10.1109/TPAMI.2010.161
    [20] YUE Zongsheng, YONG Hongwei, ZHAO Qian, et al. Variational denoising network: Toward blind noise modeling and removal[EB/OL]. https://arxiv.org/abs/1908.11314v1, 2019.
  • [1] 陈昌川, 李奎, 乔飞, 姜宏伟, 赵曼淇, 公茂盛, 王海宁, 张天骐.  基于图像处理的建筑物振动位移测量算法, 电子与信息学报. 2020, 42(0): 1-8. doi: 10.11999/JEIT190805
    [2] 黄勇, 刘芳.  基于模糊语义的高分辨率SAR图像汽车检测算法, 电子与信息学报. 2017, 39(4): 968-972. doi: 10.11999/JEIT160650
    [3] 杨真真, 杨震, 李雷, 金正猛.  Alpha稳态噪声下基于Meridian范数的全变分图像去噪算法, 电子与信息学报. 2017, 39(5): 1109-1115. doi: 10.11999/JEIT160657
    [4] 李岩, 刘念, 张斌, 袁开国, 杨义先.  一种基于逆序广义2近邻的图像多重复制粘贴篡改检测算法, 电子与信息学报. 2015, 37(7): 1667-1673. doi: 10.11999/JEIT141271
    [5] 石美红, 李青, 赵雪青, 乔冬冬.  一种基于保角相位的图像边缘检测新方法, 电子与信息学报. 2015, 37(11): 2594-2600. doi: 10.11999/JEIT150364
    [6] 廖斌, 苏涛, 刘斌.  基于多尺度分解的k邻域随机查找快速图像修复, 电子与信息学报. 2015, 37(9): 2097-2102. doi: 10.11999/JEIT150033
    [7] 赵雪梅, 李玉, 赵泉华.  结合高斯回归模型和隐马尔可夫随机场的模糊聚类图像分割, 电子与信息学报. 2014, 36(11): 2730-2736. doi: 10.3724/SP.J.1146.2013.01751
    [8] 贾茜, 易本顺, 肖进胜.  基于结构成分双向扩散的图像插值算法, 电子与信息学报. 2014, 36(11): 2541-2548. doi: 10.3724/SP.J.1146.2014.00255
    [9] 季成涛, 何小海, 符耀庆, 梁子飞, 卿粼波.  一种基于正则化的边缘定向插值算法, 电子与信息学报. 2014, 36(2): 293-297. doi: 10.3724/SP.J.1146.2013.00582
    [10] 白键, 冯象初.  一种基于积分微分方程的泊松噪声去除算法, 电子与信息学报. 2013, 35(2): 451-456. doi: 10.3724/SP.J.1146.2012.01087
    [11] 罗孟儒, 周四望.  自适应小波包图像压缩感知方法, 电子与信息学报. 2013, 35(10): 2371-2377. doi: 10.3724/SP.J.1146.2013.00022
    [12] 李朝锋, 唐国凤, 吴小俊, 琚宜文.  学习相位一致特征的无参考图像质量评价, 电子与信息学报. 2013, 35(2): 484-488. doi: 10.3724/SP.J.1146.2012.00695
    [13] 杨娴, 李勃, 丁文, 陈启美.  基于局部自适应色差阈值的彩色图像边缘检测, 电子与信息学报. 2012, 34(9): 2058-2063. doi: 10.3724/SP.J.1146.2012.00203
    [14] 刘天亮, 戴修斌, 朱秀昌, 罗立民.  基于韦伯感知和导引滤波分层聚合快速立体图像匹配, 电子与信息学报. 2012, 34(4): 992-996. doi: 10.3724/SP.J.1146.2011.00993
    [15] 李然, 干宗良, 朱秀昌.  基于最佳线性估计的快速压缩感知图像重建算法, 电子与信息学报. 2012, 34(12): 3006-3012. doi: 10.3724/SP.J.1146.2012.00504
    [16] 赵旦峰, 王博, 杨大伟.  一种边缘定向平滑图像插值算法, 电子与信息学报. 2012, 34(7): 1543-1546. doi: 10.3724/SP.J.1146.2011.01275
    [17] 苏延超, 艾海舟, 劳世竑.  图像和视频中基于部件检测器的人体姿态估计, 电子与信息学报. 2011, 33(6): 1413-1419. doi: 10.3724/SP.J.1146.2010.01042
    [18] 赵菲, 张路, 张志勇, 卢焕章.  基于硬件加速的实时二值图像连通域标记算法, 电子与信息学报. 2011, 33(5): 1069-1075. doi: 10.3724/SP.J.1146.2010.00793
    [19] 项世军, 杨建权.  基于约束随机分块的NMF图像哈希算法, 电子与信息学报. 2011, 33(2): 337-341. doi: 10.3724/SP.J.1146.2010.00212
    [20] 贾世杰, 孔祥维, 付海燕, 金光.  基于互补特征和类描述的商品图像自动分类, 电子与信息学报. 2010, 32(10): 2294-2300. doi: 10.3724/SP.J.1146.2009.01391
  • 加载中
  • 图(4) / 表ll (4)
    计量
    • 文章访问数:  135
    • HTML全文浏览量:  102
    • PDF下载量:  8
    • 被引次数: 0
    出版历程
    • 收稿日期:  2019-10-16
    • 修回日期:  2020-07-20
    • 网络出版日期:  2020-07-30

    目录

      /

      返回文章
      返回

      官方微信,欢迎关注