光学系统与图像处理端到端协同设计及其应用

顿雄; 张健; 冯诗淇; 罗洪; 王占山; 程鑫彬

doi:10.37188/OPE.20223021.2827

您当前的位置：

首页 >

文章列表页 >

光学系统与图像处理端到端协同设计及其应用

更新时间：2022-11-22

- 光学系统与图像处理端到端协同设计及其应用
- End-to-end co-design of optics and image processing and its applications
- 光学精密工程 2022年30卷第21期页码：2827-2838
- 作者机构：
  
  同济大学物理科学与工程学院精密光学工程技术研究所，先进微结构材料教育部重点实验室，上海市数字光学前沿科学研究基地，上海市全光谱高性能光学薄膜器件与应用专业技术服务平台，上海 200092
- 作者简介：
  
  [ "顿雄（1986-），男，博士，特聘研究员，博士生导师，2007年于哈尔滨工业大学获得学士学位，2016年于北京理工大学获得博士学位，主要从事光学系统设计、计算成像和智能感知的研究。E-mail： dunx@tongji.edu.cn" ]
  [ "程鑫彬（1980-），男，博士，教授，博士生导师，2004年、2008年于同济大学分别获得学士、博士学位，主要从事微纳光学、智能感知研究。E-mail： chengxb@tongji.edu.cn" ]
- 基金信息：
  
  上海市浦江人才计划资助项目(20PJ1414200);国家自然科学基金资助项目(62105243)
- DOI：10.37188/OPE.20223021.2827
  中图分类号： O439;TP751
- 收稿日期：2022-07-16，
  
  修回日期：2022-08-20，
  
  纸质出版日期：2022-11-10
- 稿件说明：
移动端阅览
顿雄,张健,冯诗淇等.光学系统与图像处理端到端协同设计及其应用[J].光学精密工程,2022,30(21):2827-2838.

DUN Xiong,ZHANG Jian,FENG Shiqi,et al.End-to-end co-design of optics and image processing and its applications[J].Optics and Precision Engineering,2022,30(21):2827-2838.
顿雄,张健,冯诗淇等.光学系统与图像处理端到端协同设计及其应用[J].光学精密工程,2022,30(21):2827-2838. DOI： 10.37188/OPE.20223021.2827.

DUN Xiong,ZHANG Jian,FENG Shiqi,et al.End-to-end co-design of optics and image processing and its applications[J].Optics and Precision Engineering,2022,30(21):2827-2838. DOI： 10.37188/OPE.20223021.2827.

摘要

计算成像是一种通过联合光学系统和图像处理来实现特定成像功能的新兴研究领域，长期以来，计算成像中的光学与算法联合都采取的是顺序设计模式，即光学系统与图像处理各自分开设计，但这样难以全面发挥二者协同的优势。近年来，随着深度学习技术的飞速发展，基于深度学习架构的光学系统与图像处理算法端到端协同设计方法开启了解决这一问题的大门。一方面，端到端协同设计通过全面探索整个解空间，可以实现光学与图像处理的自动最佳协同；另一方面，端到端协同设计更使得研制基于任务的最优成像系统成为可能。本文首先介绍了基于光学系统与图像处理端到端协同设计框架的进展，然后介绍了我们基于这一框架在平面透镜的宽谱成像、平面透镜的大视场成像、大景深成像、超分辨成像和快照式光谱成像方面的研究进展。

Abstract

Computational imaging is an emerging research field that combines optical systems and image processing to achieve specific imaging features. For a long time， this kind of combination in computational imaging has adopted a sequential design mode， that is， the optical system and image processing are designed separately， making it difficult to exploit the synergistic advantages of both entirely. With the rapid development of deep learning， the end-to-end co-design method of optics and image processing algorithms based on deep learning architecture has opened the door to solving this problem. On the one hand， end-to-end co-design can realise the automatic optimal collaboration of optics and image processing by comprehensively exploring the entire solution space. On the other hand， end-to-end design makes it possible to develop specific optical imaging systems. In this paper， we review recent advances in end-to-end co-design of optics and image processing， including full-colour imaging of flat lenses， large field of view imaging， extended depth of field imaging， and super-resolution imaging， and snapshot spectral imaging.

关键词

Keywords

references

左超，陈钱 . 计算光学成像：何来，何处，何去，何从？［J］. 红外与激光工程， 2022 ， 51 （ 2 ）： 158 - 338 . doi: 10.3788/IRLA20220110 http://dx.doi.org/10.3788/IRLA20220110

ZUO CH ， CHEN Q . Computational optical imaging： an overview ［J］. Infrared and Laser Engineering ， 2022 ， 51 （ 2 ）： 158 - 338 . （in Chinese） . doi: 10.3788/IRLA20220110 http://dx.doi.org/10.3788/IRLA20220110

LEVOY M . Light fields and computational imaging ［J］. Computer ， 2006 ， 39 （ 8 ）： 46 - 55 . doi: 10.1109/mc.2006.270 http://dx.doi.org/10.1109/mc.2006.270

SUNG H Y ， CHANG C W . Method for designing computational optical imaging system ： US8331712 ［P］. 2012-12-11 .

MAIT J N ， EULISS G W ， ATHALE R A . Computational imaging ［J］. Advances in Optics and Photonics ， 2018 ， 10 （ 2 ）： 409 - 483 . doi: 10.1364/aop.10.000409 http://dx.doi.org/10.1364/aop.10.000409

SITZMANN V ， DIAMOND S ， PENG Y F ， et al . End-to-end optimization of optics and image processing for achromatic extended depth of field and super-resolution imaging ［J］. ACM Transactions on Graphics ， 2018 ， 37 （ 4 ）： 114 . doi: 10.1145/3197517.3201333 http://dx.doi.org/10.1145/3197517.3201333

DUN X ， IKOMA H ， WETZSTEIN G ， et al . Learned rotationally symmetric diffractive achromat for full-spectrum computational imaging ［J］. Optica ， 2020 ， 7 （ 8 ）： 913 - 922 . doi: 10.1364/optica.394413 http://dx.doi.org/10.1364/optica.394413

PENG Y F ， SUN Q L ， DUN X ， et al . Learned large field-of-view imaging with thin-plate optics ［J］. ACM Transactions on Graphics ， 2019 ， 38 （ 6 ）： 219 . doi: 10.1145/3355089.3356526 http://dx.doi.org/10.1145/3355089.3356526

JEON D S ， BAEK S H ， YI S ， et al . Compact snapshot hyperspectral imaging with diffracted rotation ［J］. ACM Transactions on Graphics ， 2019 ， 38 （ 4 ）： 117 . doi: 10.1145/3306346.3322946 http://dx.doi.org/10.1145/3306346.3322946

SUN Q L ， ZHANG J ， DUN X ， et al . End-to-end learned， optically coded super-resolution SPAD camera ［J］. ACM Transactions on Graphics ， 2020 ， 39 （ 2 ）： 9 . doi: 10.1145/3372261 http://dx.doi.org/10.1145/3372261

TSENG E ， COLBURN S ， WHITEHEAD J ， et al . Neural nano-optics for high-quality thin lens imaging ［J］. Nature Communications ， 2021 ， 12 ： 6493 . doi: 10.1038/s41467-021-26443-0 http://dx.doi.org/10.1038/s41467-021-26443-0

LÉVÊQUE O ， KULCSÁR C ， LEE A ， et al . Co-designed annular binary phase masks for depth-of-field extension in single-molecule localization microscopy ［J］. Optics Express ， 2020 ， 28 （ 22 ）： 32426 - 32446 . doi: 10.1364/oe.402752 http://dx.doi.org/10.1364/oe.402752

JIN L B ， TANG Y B ， WU Y C ， et al . Deep learning extended depth-of-field microscope for fast and slide-free histology ［J］. Proceedings of the National Academy of Sciences of the United States of America ， 2020 ， 117 （ 52 ）： 33051 - 33060 . doi: 10.1073/pnas.2013571117 http://dx.doi.org/10.1073/pnas.2013571117

LIU Y K ， ZHANG C Y ， KOU T D ， et al . End-to-end computational optics with a singlet lens for large depth-of-field imaging ［J］. Optics Express ， 2021 ， 29 （ 18 ）： 28530 - 28548 . doi: 10.1364/oe.433067 http://dx.doi.org/10.1364/oe.433067

BANERJI S ， MEEM M ， MAJUMDER A ， et al . Extreme-depth-of-focus imaging with a flat lens ［J］. Optica ， 2020 ， 7 （ 3 ）： 214 - 217 . doi: 10.1364/optica.384164 http://dx.doi.org/10.1364/optica.384164

LUO Y ， MENGU D ， YARDIMCI N T ， et al . Design of task-specific optical systems using broadband diffractive neural networks ［J］. Light： Science & Applications ， 2019 ， 8 ： 112 . doi: 10.1038/s41377-019-0223-1 http://dx.doi.org/10.1038/s41377-019-0223-1

SONG H Y ， MA Y G ， HAN Y B ， et al . Deep-learned broadband encoding stochastic filters for computational spectroscopic instruments ［J］. Advanced Theory and Simulations ， 2021 ， 4 （ 3 ）： 2000299 . doi: 10.1002/adts.202000299 http://dx.doi.org/10.1002/adts.202000299

CHANG J L ， WETZSTEIN G . Deep optics for monocular depth estimation and 3D object detection ［C］. 2019 IEEE/CVF International Conference on Computer Vision （ICCV）. Seoul ， Korea （South） . IEEE ， 2019 ： 10192 - 10201 . doi: 10.1109/iccv.2019.01029 http://dx.doi.org/10.1109/iccv.2019.01029

NEHME E ， FREEDMAN D ， GORDON R ， et al . DeepSTORM3D： dense 3D localization microscopy and PSF design by deep learning ［J］. Nature Methods ， 2020 ， 17 （ 7 ）： 734 - 740 . doi: 10.1038/s41592-020-0853-5 http://dx.doi.org/10.1038/s41592-020-0853-5

NEHME E ， FERDMAN B ， WEISS L E ， et al . Learning an optimal PSF-pair for ultra-dense 3D localization microscopy ［EB/OL］. 2020： arXiv ： 2009 . 14303 . https：//arxiv.org/abs/2009.14303 https://arxiv.org/abs/2009.14303 . doi: 10.1038/s41592-020-0853-5 http://dx.doi.org/10.1038/s41592-020-0853-5

SUN Q L ， TSENG E ， FU Q ， et al . Learning rank-1 diffractive optics for single-shot high dynamic range imaging ［C］. 2020 IEEE/CVF Conference on Computer Vision and Pattern Recognition （CVPR）. Seattle ， WA ， USA . IEEE ， 2020 ： 1383 - 1393 . doi: 10.1109/cvpr42600.2020.00146 http://dx.doi.org/10.1109/cvpr42600.2020.00146

MARTEL J N P ， MÜLLER L K ， CAREY S J ， et al . Neural sensors： learning pixel exposures for HDR imaging and video compressive sensing with programmable sensors ［J］. IEEE Transactions on Pattern Analysis and Machine Intelligence ， 2020 ， 42 （ 7 ）： 1642 - 1653 . doi: 10.1109/tpami.2020.2986944 http://dx.doi.org/10.1109/tpami.2020.2986944

SUN Q L ， WANG C L ， FU Q ， et al . End-to-end complex lens design with differentiate ray tracing ［J］. ACM Transactions on Graphics ， 2021 ， 40 （ 4 ）： 71 . doi: 10.1145/3450626.3459674 http://dx.doi.org/10.1145/3450626.3459674

VOLLMER M ， MÖLLMANN K P . Infrared Thermal Imaging： Fundamentals， Research and Applications ［M］. Weinheim， Germany ： Wiley-VCH Verlag GmbH & Co. KGaA ， 2017 . doi: 10.1002/9783527693306 http://dx.doi.org/10.1002/9783527693306

YANNY K ， MONAKHOVA K ， SHUAI R W ， et al . Deep learning for fast spatially varying deconvolution ［J］. Optica ， 2022 ， 9 （ 1 ）： 96 - 99 . doi: 10.1364/optica.442438 http://dx.doi.org/10.1364/optica.442438

MONAKHOVA K ， YURTSEVER J ， KUO G ， et al . Learned reconstructions for practical mask-based lensless imaging ［J］. Optics Express ， 2019 ， 27 （ 20 ）： 28075 - 28090 . doi: 10.1364/oe.27.028075 http://dx.doi.org/10.1364/oe.27.028075

BANERJI S ， MEEM M ， MAJUMDER A ， et al . Imaging with flat optics： metalenses or diffractive lenses？［J］. Optica ， 2019 ， 6 （ 6 ）： 805 - 810 . doi: 10.1364/optica.6.000805 http://dx.doi.org/10.1364/optica.6.000805

MEEM M ， BANERJI S ， PIES C ， et al . Large-area， high-numerical-aperture multi-level diffractive lens via inverse design： errata ［J］. Optica ， 2020 ， 7 （ 3 ）： 252 - 253 . doi: 10.1364/optica.388697 http://dx.doi.org/10.1364/optica.388697

WANG P ， MOHAMMAD N ， MENON R . Chromatic-aberration-corrected diffractive lenses for ultra-broadband focusing ［J］. Scientific Reports ， 2016 ， 6 ： 21545 . doi: 10.1038/srep21545 http://dx.doi.org/10.1038/srep21545

TSENG M L ， HSIAO H ， CHU C H ， et al . Metalenses： advances and applications ［J］. Advanced Optical Materials ， 2018 ， 6 （ 18 ）： 1800554 . doi: 10.1002/adom.201800554 http://dx.doi.org/10.1002/adom.201800554

AIETA F ， KATS M A ， GENEVET P ， et al . Applied optics. Multiwavelength achromatic metasurfaces by dispersive phase compensation ［J］. Science ， 2015 ， 347 （ 6228 ）： 1342 - 1345 . doi: 10.1126/science.aaa2494 http://dx.doi.org/10.1126/science.aaa2494

KHORASANINEJAD M ， CHEN W T ， DEVLIN R C ， et al . Metalenses at visible wavelengths： Diffraction-limited focusing and subwavelength resolution imaging ［J］. Science ， 2016 ， 352 （ 6290 ）： 1190 - 1194 . doi: 10.1126/science.aaf6644 http://dx.doi.org/10.1126/science.aaf6644

KHORASANINEJAD M ， ZHU A Y ， ROQUES-CARMES C ， et al . Polarization-insensitive metalenses at visible wavelengths ［J］. Nano Letters ， 2016 ， 16 （ 11 ）： 7229 - 7234 . doi: 10.1021/acs.nanolett.6b03626 http://dx.doi.org/10.1021/acs.nanolett.6b03626

PHAN T ， SELL D ， WANG E W ， et al . High-efficiency， large-area， topology-optimized metasurfaces ［J］. Light： Science & Applications ， 2019 ， 8 ： 48 . doi: 10.1038/s41377-019-0159-5 http://dx.doi.org/10.1038/s41377-019-0159-5

QI B Y ， CHEN W ， DUN X ， et al . All-day thin-lens computational imaging with scene-specific learning recovery ［J］. Applied Optics ， 2022 ， 61 （ 4 ）： 1097 - 1105 . doi: 10.1364/ao.448155 http://dx.doi.org/10.1364/ao.448155

浏览量

1153

下载量

CSCD

文章被引用时，请邮件提醒。

提交

工具集

关联资源

轻量级注意力级联网络的偏振计算成像超分辨率重建

基于区域选择网络的图像复原及其在计算成像中的应用

组合曝光的计算成像系统及其复原

基于低秩矩阵分解的光场稀疏采样及重构