多尺度密集特征融合的图像超分辨率重建

程德强; 赵佳敏; 寇旗旗; 陈亮亮; 韩成功

doi:10.37188/OPE.20223020.2489

您当前的位置：

首页 >

文章列表页 >

多尺度密集特征融合的图像超分辨率重建

信息科学 | 更新时间：2022-10-27

- 多尺度密集特征融合的图像超分辨率重建
- Multi-scale dense feature fusion network for image super-resolution
- 光学精密工程 2022年30卷第20期页码：2489-2500
- 作者机构：
  
  1.中国矿业大学信息与控制工程学院，江苏徐州 221116
  2.中国矿业大学计算机科学与技术学院，江苏徐州 221116
- 作者简介：
  
  [ "程德强（1979-），男，河南洛阳人，博士，教授，博士生导师。主要研究方向为图像智能检测与模式识别、图像处理与视频编码。 E-mail： chengdq@cumt.edu.cn" ]
  [ "寇旗旗（1988-），男，河南襄城县人，博士，讲师，2019年于中国矿业大学获得博士学位，主要从事图像处理与模式识别等方面的研究。 E-mail： kouqiqi@cumt.edu.cn" ]
- 基金信息：
  
  中央高校基本科研业务费专项资金资助项目(2020QN49)
- DOI：10.37188/OPE.20223020.2489
  中图分类号： TP391.4
- 收稿日期：2022-05-09，
  
  修回日期：2022-06-02，
  
  纸质出版日期：2022-10-25
- 稿件说明：
移动端阅览
程德强,赵佳敏,寇旗旗等.多尺度密集特征融合的图像超分辨率重建[J].光学精密工程,2022,30(20):2489-2500.

CHENG Deqiang,ZHAO Jiamin,KOU Qiqi,et al.Multi-scale dense feature fusion network for image super-resolution[J].Optics and Precision Engineering,2022,30(20):2489-2500.
程德强,赵佳敏,寇旗旗等.多尺度密集特征融合的图像超分辨率重建[J].光学精密工程,2022,30(20):2489-2500. DOI： 10.37188/OPE.20223020.2489.

CHENG Deqiang,ZHAO Jiamin,KOU Qiqi,et al.Multi-scale dense feature fusion network for image super-resolution[J].Optics and Precision Engineering,2022,30(20):2489-2500. DOI： 10.37188/OPE.20223020.2489.

摘要

针对现有单幅图像超分辨率重建算法提取的图像特征信息单一、高频细节丢失的问题，提出了一种高效利用特征信息的基于多尺度密集特征融合网络的图像超分辨率重建算法。该方法通过含有不同尺度卷积核的多尺度特征融合残差模块提取不同尺度图像特征并将不同尺度的特征融合，以提取丰富的图像特征。在模块间采用密集特征融合结构将不同模块提取到的特征信息充分融合，以更好地保留图像的高频细节、获取更好的视觉感受。大量实验表明，所提出的方法在参数量减少的同时，在四个基准数据集上取得的峰值信噪比和结构相似度均有明显提升，尤其在Set5数据集上4倍重建结果的峰值信噪比相比于DID-D5提升了0.08 dB，且重建图像视觉效果更好、特征信息更加丰富，充分证明了该算法的有效性。

Abstract

Existing single-image super-resolution algorithms lose high-frequency details and cannot extract rich image features. Therefore， an image super-resolution reconstruction algorithm based on a multi-scale dense feature fusion network is proposed to efficiently utilize image features. This algorithm extracts image features of different scales by employing the multi-scale feature fusion residual module with convolution kernels of different scales. It fuses different scale features to better preserve the high-frequency details of images. A dense feature fusion structure is adopted between modules to fully integrate the feature information extracted from different modules， to avoid feature information loss and obtain better visual feeling. Several experiments show that the proposed method can significantly improve the peak signal-to-noise ratio and structural similarity on four benchmark datasets while reducing the number of parameters. In particular， on the Set5 dataset， compared with DID-D5， the peak signal-to-noise ratio of 4× super-resolution increases by 0.08 dB and the reconstructed image has better visual effects and richer feature information， thus confirming the effectiveness of the proposed algorithm.

关键词

Keywords

references

朱福珍，刘越，黄鑫，等 . 改进的稀疏表示遥感图像超分辨重建［J］. 光学精密工程， 2019 ， 27 （ 3 ）： 718 - 725 . doi: 10.13482/j.issn1001-7011.2019.05.004 http://dx.doi.org/10.13482/j.issn1001-7011.2019.05.004

ZHU F Z ， LIU Y ， HUANG X ， et al . Remote sensing image super-resolution based on improved sparse representation ［J］. Opt. Precision Eng. ， 2019 ， 27 （ 3 ）： 718 - 725 . （in Chinese） . doi: 10.13482/j.issn1001-7011.2019.05.004 http://dx.doi.org/10.13482/j.issn1001-7011.2019.05.004

GUO K H ， GUO H F ， REN S ， et al . Towards efficient motion-blurred public security video super-resolution based on back-projection networks ［J］. Journal of Network and Computer Applications ， 2020 ， 166 ： 102691 . doi: 10.1016/j.jnca.2020.102691 http://dx.doi.org/10.1016/j.jnca.2020.102691

刘雪岩，许聿达，雷建昕，等 . 基于视差放大与超分辨率的三维光场腹腔镜标定［J］. 光学精密工程， 2022 ， 30 （ 5 ）： 510 - 517 . doi: 10.37188/OPE.2021.0332 http://dx.doi.org/10.37188/OPE.2021.0332

LIU X Y ， XU Y D ， LEI J X ， et al . Three-dimensional light field endoscope calibration based on light field disparity amplifier and super-resolution network ［J］. Opt. Precision Eng. ， 2022 ， 30 （ 5 ）： 510 - 517 . （in Chinese） . doi: 10.37188/OPE.2021.0332 http://dx.doi.org/10.37188/OPE.2021.0332

LU W ， TAN Y P . Color filter array demosaicking： new method and performance measures ［J］. IEEE Transactions on Image Processing ， 2003 ， 12 （ 10 ）： 1194 - 1210 . doi: 10.1109/tip.2003.816004 http://dx.doi.org/10.1109/tip.2003.816004

IRANI M ， PELEG S . Improving resolution by image registration ［J］. CVGIP： Graphical Models and Image Processing ， 1991 ， 53 （ 3 ）： 231 - 239 . doi: 10.1016/1049-9652(91)90045-l http://dx.doi.org/10.1016/1049-9652(91)90045-l

蔡体健，彭潇雨，石亚鹏，等 . 通道注意力与残差级联的图像超分辨率重建［J］. 光学精密工程， 2021 ， 29 （ 1 ）： 142 - 151 . doi: 10.37188/OPE.20212901.0142 http://dx.doi.org/10.37188/OPE.20212901.0142

CAI T J ， PENG X Y ， SHI Y P ， et al . Channel attention and residual concatenation network for image super-resolution ［J］. Opt. Precision Eng. ， 2021 ， 29 （ 1 ）： 142 - 151 . （in Chinese） . doi: 10.37188/OPE.20212901.0142 http://dx.doi.org/10.37188/OPE.20212901.0142

董本志，于明聪，赵鹏 . 基于小波域的图像超分辨率重建方法［J］. 液晶与显示， 2021 ， 36 （ 2 ）： 317 - 326 . doi: 10.37188/CJLCD.2020-0101 http://dx.doi.org/10.37188/CJLCD.2020-0101

DONG B Z ， YU M C ， ZHAO P . Image super-resolution reconstruction based on wavelet domain ［J］. Chinese Journal of Liquid Crystals and Displays ， 2021 ， 36 （ 2 ）： 317 - 326 . （in Chinese） . doi: 10.37188/CJLCD.2020-0101 http://dx.doi.org/10.37188/CJLCD.2020-0101

陈宗航，胡海龙，姚剑敏，等 . 基于改进生成对抗网络的单帧图像超分辨率重建［J］. 液晶与显示， 2021 ， 36 （ 5 ）： 705 - 712 . doi: 10.37188/CJLCD.2020-0250 http://dx.doi.org/10.37188/CJLCD.2020-0250

CHEN Z H ， HU H L ， YAO J M ， et al . Single frame image super-resolution reconstruction based on improved generative adversarial network ［J］. Chinese Journal of Liquid Crystals and Displays ， 2021 ， 36 （ 5 ）： 705 - 712 . （in Chinese） . doi: 10.37188/CJLCD.2020-0250 http://dx.doi.org/10.37188/CJLCD.2020-0250

NIU B ， WEN W ， REN W ， et al . Single image super-resolution via a holistic attention network ［C］. European Conference on Computer Vision. Springer ， Glasgow， USA ， 2020 ： 191 - 207 . doi: 10.1007/978-3-030-58610-2_12 http://dx.doi.org/10.1007/978-3-030-58610-2_12

DONG C ， LOY C C ， HE K M ， et al . Image super-resolution using deep convolutional networks ［J］. IEEE Transactions on Pattern Analysis and Machine Intelligence ， 2016 ， 38 （ 2 ）： 295 - 307 . doi: 10.1109/tpami.2015.2439281 http://dx.doi.org/10.1109/tpami.2015.2439281

DONG C ， LOY C C ， TANG X . Accelerating the super-resolution convolutional neural network ［C］. European Conference on Computer Vision ， Springer ， Cham ， 2016 ： 391 - 407 . doi: 10.1007/978-3-319-46475-6_25 http://dx.doi.org/10.1007/978-3-319-46475-6_25

SHI W ， CABALLERO J ， HUSZÁR F ， et al . Real-time single image and video super-resolution using an efficient sub-pixel convolutional neural network ［C］. 2016 IEEE Conference on Computer Vision and Pattern Recognition . Las Vegas， NV， USA . IEEE ， 2016 ： 1874 - 1883 . doi: 10.1109/cvpr.2016.207 http://dx.doi.org/10.1109/cvpr.2016.207

KIM J ， LEE J K ， LEE K M . Accurate image super-resolution using very deep convolutional networks ［C］. 2016 IEEE Conference on Computer Vision and Pattern Recognition . Las Vegas， NV， USA . IEEE ， 2016 ： 1646 - 1654 . doi: 10.1109/cvpr.2016.182 http://dx.doi.org/10.1109/cvpr.2016.182

LIM B ， SON S ， KIM H ， et al . Enhanced deep residual networks for single image super-resolution ［C］. 2017 IEEE Conference on Computer Vision and Pattern Recognition Workshops . Honolulu， HI， USA . IEEE ， 2016 ： 1132 - 1140 . doi: 10.1109/cvprw.2017.151 http://dx.doi.org/10.1109/cvprw.2017.151

KIM J ， LEE J K ， LEE K M . Deeply-recursive convolutional network for image super-resolution ［C］. 2016 IEEE Conference on Computer Vision and Pattern Recognition . Las Vegas， NV， USA . IEEE ， 2016 ： 1637 - 1645 . doi: 10.1109/cvpr.2016.181 http://dx.doi.org/10.1109/cvpr.2016.181

TAI Y ， YANG J ， LIU X M . Image super-resolution via deep recursive residual network ［C］. 2017 IEEE Conference on Computer Vision and Pattern Recognition . Honolulu， HI， USA . IEEE ， 2017 ： 2790 - 2798 . doi: 10.1109/cvpr.2017.298 http://dx.doi.org/10.1109/cvpr.2017.298

ZHANG Y L ， TIAN Y P ， KONG Y ， et al . Residual dense network for image super-resolution ［C］. 2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition . Salt Lake City， UT， USA . IEEE ， 2018 ： 2472 - 2481 . doi: 10.1109/cvpr.2018.00262 http://dx.doi.org/10.1109/cvpr.2018.00262

LI J C ， FANG F M ， MEI K F ， et al . Multi-scale Residual Network for Image Super-resolution ［M］. Computer Vision-ECCV 2018 . Cham ： Springer International Publishing ， 2018 ： 527 - 542 . doi: 10.1007/978-3-030-01237-3_32 http://dx.doi.org/10.1007/978-3-030-01237-3_32

HUI Z ， GAO X B ， YANG Y C ， et al . Lightweight image super-resolution with information multi-distillation network ［C］. Proceedings of the 27th ACM International Conference on Multimedia ， 2019 ： 2024 - 2032 . doi: 10.1145/3343031.3351084 http://dx.doi.org/10.1145/3343031.3351084

HE X Y ， MO Z T ， WANG P S ， et al . ODE-inspired network design for single image super-resolution ［C］. 2019 IEEE/CVF Conference on Computer Vision and Pattern Recognition （CVPR）. Long Beach ， CA， USA . IEEE ， 2019 ： 1732 - 1741 . doi: 10.1109/cvpr.2019.00183 http://dx.doi.org/10.1109/cvpr.2019.00183

LI L X ， FENG H S ， ZHENG B ， et al . DID： a nested dense in dense structure with variable local dense blocks for super-resolution image reconstruction ［C］. 2020 25th International Conference on Pattern Recognition （ICPR）. Milan ， Italy . IEEE ， 2020 ： 2582 - 2589 . doi: 10.1109/icpr48806.2021.9413036 http://dx.doi.org/10.1109/icpr48806.2021.9413036

ZEYDE R ， ELAD M ， PROTTER M . On single image scale-up using sparse-representations ［C］. International Conference on Curves and Surfaces . Springer ， Berlin， Heidelberg ， 2010 ： 711 - 730 .

MARTIN D ， FOWLKES C ， TAL D ， et al . A database of human segmented natural images and its application to evaluating segmentation algorithms and measuring ecological statistics ［C］. Proceedings Eighth IEEE International Conference on Computer Vision. ICCV 2001. Vancouver ， BC， Canada . IEEE ， 2001 ： 416 - 423 . doi: 10.1109/iccv.2001.937568 http://dx.doi.org/10.1109/iccv.2001.937568

HUANG J B ， SINGH A ， AHUJA N . Single image super-resolution from transformed self-exemplars ［C］. 2015 IEEE Conference on Computer Vision and Pattern Recognition . Boston， MA， USA . IEEE ， 2015 ： 5197 - 5206 . doi: 10.1109/cvpr.2015.7299156 http://dx.doi.org/10.1109/cvpr.2015.7299156

KEYS R . Cubic convolution interpolation for digital image processing ［J］. IEEE Transactions on Acoustics， Speech， and Signal Processing ， 1981 ， 29 （ 6 ）： 1153 - 1160 . doi: 10.1109/tassp.1981.1163711 http://dx.doi.org/10.1109/tassp.1981.1163711

LAI W S ， HUANG J B ， AHUJA N ， et al . Deep Laplacian pyramid networks for fast and accurate super-resolution ［C］. 2017 IEEE Conference on Computer Vision and Pattern Recognition . Honolulu， HI， USA . IEEE ， 2017 ： 5835 - 5843 . doi: 10.1109/cvpr.2017.618 http://dx.doi.org/10.1109/cvpr.2017.618

LUO X T ， XIE Y ， ZHANG Y L ， et al . LatticeNet： towards lightweight image super-resolution with lattice block ［C］. Computer Vision-ECCV ， 2020 ， 2020 ： 279 - 289 . doi: 10.1007/978-3-030-58542-6_17 http://dx.doi.org/10.1007/978-3-030-58542-6_17

浏览量

737

下载量

CSCD

文章被引用时，请邮件提醒。

提交

工具集

关联资源

循环神经网络多标签航空图像分类

融合生成对抗网络的大气无线光信道密钥提取

多尺度与三维交互特征优化的皮肤镜图像分类

渐进式CNN-Transformer语义补偿息肉分割网络

级联残差优化Transformer网络的图像超分辨率重建