基于分数匹配生成模型的无透镜成像方法

伍春花; 彭鸿; 刘且根; 万文博; 王玉皞

doi:10.37188/OPE.20223018.2280

您当前的位置：

首页 >

文章列表页 >

基于分数匹配生成模型的无透镜成像方法

信息科学 | 更新时间：2022-09-26

- 基于分数匹配生成模型的无透镜成像方法
- Lens-less imaging via score-based generative model
- 光学精密工程 2022年30卷第18期页码：2280-2294
- 作者机构：
  
  南昌大学信息工程学院，江西南昌 330031
- 作者简介：
  
  [ "伍春花（1997-），女，江西南昌人，硕士研究生。现就读于南昌大学电子信息工程系，主要从事计算光学成像方面的研究。E-mail： wuchunhua@email.ncu.edu.cn" ]
  [ "万文博（1990-），男，甘肃平凉人，博士，讲师。现就职于南昌大学信息工程学院电子信息工程系，主要从事生物医学光子学及光学计算成像等方面的研究。Email： wanwenbo@ncu.edu.cn" ]
- 基金信息：
  
  国家优秀青年科学基金项目(62122033);国家自然科学基金青年科学基金项目(62105138);国家自然科学基金面上项目(61871206)
- DOI：10.37188/OPE.20223018.2280
  中图分类号： TP751
- 收稿日期：2022-03-25，
  
  修回日期：2022-06-07，
  
  纸质出版日期：2022-09-25
- 稿件说明：
移动端阅览
伍春花,彭鸿,刘且根等.基于分数匹配生成模型的无透镜成像方法[J].光学精密工程,2022,30(18):2280-2294.

WU Chunhua,PENG Hong,LIU Qiegen,et al.Lens-less imaging via score-based generative model[J].Optics and Precision Engineering,2022,30(18):2280-2294.
伍春花,彭鸿,刘且根等.基于分数匹配生成模型的无透镜成像方法[J].光学精密工程,2022,30(18):2280-2294. DOI： 10.37188/OPE.20223018.2280.

WU Chunhua,PENG Hong,LIU Qiegen,et al.Lens-less imaging via score-based generative model[J].Optics and Precision Engineering,2022,30(18):2280-2294. DOI： 10.37188/OPE.20223018.2280.

摘要

无透镜成像受到同轴全息图中孪生像噪声的影响，一直面临着重建信噪比差和成像分辨率低的问题。针对该问题，本文提出一种基于分数匹配生成模型的无透镜成像方法。在训练阶段，通过连续随机微分方程（Stochastic Differential Equation， SDE）缓慢添加高斯噪声扰动数据分布，然后训练具有去噪分数匹配的连续时间相关的分数函数，用于求解反向SDE生成目标样本数据。在测试阶段，使用单张菲涅尔波带片作为掩膜，在非相干光照明下实现无透镜编码调制，然后使用预测-校正的方法在数值求解器SDE和数据保真项步骤之间轮换更新进行图像重建。在LSUN-bedroom和LSUN-church数据集上的验证结果表明，提出的算法能够有效消除孪生像噪声，峰值信噪比和结构相似性分别可达25.23 dB和0.65。与传统的基于反向传播和基于压缩感知的无透镜成像结果相比，峰值信噪比分别提高17.49 dB、7.16 dB，结构相似度分别提高0.42、0.35，从而实现图像重建质量的有效提升。

Abstract

Lens-less imaging is affected by twinning noise occurring in in-line holograms， and the reconstructed results continuously face poor reconstruction signal-to-noise ratio and low imaging resolution. This study proposes a lens-less imaging via a score-based generation model. In the training phase， the proposed model perturbs data distribution by gradually adding Gaussian noise by using a continuous stochastic differential equation （SDE）. A continuous time-dependent score-based function with denoising score matching is then trained and used to solve the inverse SDE required to generate object sample data. In the testing phase， a single Fresnel zone aperture is used as a mask to achieve lens-less encoding modulation under incoherent illumination. The prediction-correction method is then used to alternate iteration steps between the numerical SDE solver and data-fidelity term to achieve lens-less imaging reconstruction. Validation results on LSUN-bedroom and LSUN-church datasets show that the proposed algorithm can effectively eliminate twin image noise， and the peak signal-to-noise ratio （PSNR） and structural similarity （SSIM） of the reconstruction results can reach 25.23 dB and 0.65， respectively. The PSNR values of the reconstruction results are 17.49 dB and 7.16 dB， which is higher than that of lens-less imaging algorithms based on traditional back propagation or compressed sensing， respectively. In addition， the corresponding SSIM values were 0.42 and 0.35 higher， respectively. Therefore， the reconstruction quality of the lens-less imaging is effectively improved.

关键词

Keywords

references

SAHOO S K ， TANG D L ， DANG C . Single-shot multispectral imaging with a monochromatic camera ［J］. Optica ， 2017 ， 4 （ 10 ）： 1209 - 1213 . doi: 10.1364/optica.4.001209 http://dx.doi.org/10.1364/optica.4.001209

BOOMINATHAN V ， ADAMS J K ， ROBINSON J T ， et al . PhlatCam： designed phase-mask based thin lensless camera ［J］. IEEE Transactions on Pattern Analysis and Machine Intelligence ， 2020 ， 42 （ 7 ）： 1618 - 1629 . doi: 10.1109/tpami.2020.2987489 http://dx.doi.org/10.1109/tpami.2020.2987489

王雪，刘虹遥，路鑫超，等 . 无透镜全息显微细胞成像［J］. 光学精密工程， 2020 ， 28 （ 8 ）： 1644 - 1650 .

WANG X ， LIU H Y ， LU X C ， et al . Cell imaging by holographic lens-free microscopy ［J］. Opt. Precision Eng. ， 2020 ， 28 （ 8 ）： 1644 - 1650 . （in Chinese）

CHAPMAN H N ， NUGENT K A . Coherent lensless X-ray imaging ［J］. Nature Photonics ， 2010 ， 4 （ 12 ）： 833 - 839 . doi: 10.1038/nphoton.2010.240 http://dx.doi.org/10.1038/nphoton.2010.240

WITTE S ， TENNER V T ， NOOM D W ， et al . Lensless diffractive imaging with ultra-broadband table-top sources： from infrared to extreme-ultraviolet wavelengths ［J］. Light： Science & Applications ， 2014 ， 3 （ 3 ）： e163 . doi: 10.1038/lsa.2014.44 http://dx.doi.org/10.1038/lsa.2014.44

BISHARA W ， SU T W ， COSKUN A F ， et al . Lensfree on-chip microscopy over a wide field-of-view using pixel super-resolution ［J］. Optics Express ， 2010 ， 18 （ 11 ）： 11181 - 11191 . doi: 10.1364/oe.18.011181 http://dx.doi.org/10.1364/oe.18.011181

GREENBAUM A ， LUO W ， SU T W ， et al . Imaging without lenses： achievements and remaining challenges of wide-field on-chip microscopy ［J］. Nature Methods ， 2012 ， 9 （ 9 ）： 889 - 895 . doi: 10.1038/nmeth.2114 http://dx.doi.org/10.1038/nmeth.2114

MERTZ L ， YOUNG N O . Fresnel transformations of images ［J］. SPIE milestone series ms ， 1996 ， 128 ： 44 - 49 .

万玉红，刘超，满天龙，等 . 非相干全息术成像特性及研究进展［J］. 激光与光电子学进展， 2021 ， 58 （ 18 ）： 1 - 24 .

WAN Y H ， LIU C ， MAN T L ， et al . Incoherent correlation digital holography： principle， development， and applications ［J］. Laster & Optoelectronics Progress ， 2021 ， 58 （ 18 ）： 1 - 24 . （in Chinese）

LATYCHEVSKAIA T ， FINK H W . Solution to the twin image problem in holography ［J］. Physical Review Letters ， 2007 ， 98 （ 23 ）： 233901 . doi: 10.1103/physrevlett.98.233901 http://dx.doi.org/10.1103/physrevlett.98.233901

HENNELLY B ， KELLY D ， PANDEY N ， et al . Review of twin reduction and twin removal techniques in holography ［J］. in Procoodings of CIICT ， 2009 ： 241 - 245 .

DENIS L ， FOURNIER C ， FOURNEL T ， et al . Twin-image noise reduction by phase retrieval in in-line digital holography ［C］. Optics and Photonics 2005 . Proc SPIE 5914， Wavelets XI， San Diego， California， USA . 2005， 5914 ： 148 - 161 . doi: 10.1117/12.617405 http://dx.doi.org/10.1117/12.617405

SHIMANO T ， NAKAMURA Y ， TAJIMA K ， et al . Lensless light-field imaging with Fresnel zone aperture： quasi-coherent coding ［J］. Applied Optics ， 2018 ， 57 （ 11 ）： 2841 - 2850 . doi: 10.1364/ao.57.002841 http://dx.doi.org/10.1364/ao.57.002841

SAO M ， NAKAMURA Y ， TAJIMA K ， et al . Lensless close-up imaging with Fresnel zone aperture ［J］. Japanese Journal of Applied Physics ， 2018 ， 57 （ 9S1 ）： 09 SB05. doi: 10.7567/jjap.57.09sb05 http://dx.doi.org/10.7567/jjap.57.09sb05

BRADY D J ， CHOI K ， MARKS D L ， et al . Compressive holography ［J］. Optics Express ， 2009 ， 17 （ 15 ）： 13040 - 13049 . doi: 10.1364/oe.17.013040 http://dx.doi.org/10.1364/oe.17.013040

WU J ， ZHANG H ， ZHANG W H ， et al . Single-shot lensless imaging with Fresnel zone aperture and incoherent illumination ［J］. Light： Science & Applications ， 2020 ， 9 ： 53 . doi: 10.1038/s41377-020-0289-9 http://dx.doi.org/10.1038/s41377-020-0289-9

HYVARINEN A ， DAYAN P . Estimation of non-normalized statistical models by score matching ［J］. Journal of Machine Learning Research ， 2005 ， 6 （ 4 ）.

SONG Y ， ERMON S . Generative modeling by estimating gradients of the data distribution ［J］. Advances in Neural Information Processing Systems ， 2019 ， 32 .

SONG Y ， GARG S ， SHI J ， et al . Sliced score matching： a scalable approach to density and score estimation ［C］. Uncertainty in Artificial Intelligence. PMLR ， 2020 ： 574 - 584 .

SOHL-DICKSTEIN J ， WWISS E ， MAHESWARANATHAN N ， et al . Deep unsupervised learning using nonequilibrium thermodynamics ［C］. International Conference on Machine Learning. PMLR ， 2015 ： 2256 - 2265 .

HO J ， JAIN A ， ABBEEL P . Denoising diffusion probabilistic models ［J］. Advances in Neural Information Processing Systems ， 2020 ， 33 ： 6840 - 6851 .

SONG Y ， SOHL-DICKSTEIN J ， KINGMA D P ， et al . Score-based generative modeling through stochastic differential equations ［EB/OL］. 2020： arXiv ： 2011 .13456［cs.LG］. https：//arxiv.org/abs/2011.13456 https://arxiv.org/abs/2011.13456

NICHOL A Q ， DHARIWAL P . Improved denoising diffusion probabilistic models ［C］. International Conference on Machine Learning. PMLR ， 2021 ： 8162 - 8171 .

DHARIWAL P ， NICHOL A . Diffusion models beat GANs on image synthesis ［J］. Advances in Neural Information Processing Systems ， 2021 ， 34 ： 8780 - 8794 .

ANDERSON B D O . Reverse-time diffusion equation models ［J］. Stochastic Processes and Their Applications ， 1982 ， 12 （ 3 ）： 313 - 326 . doi: 10.1016/0304-4149(82)90051-5 http://dx.doi.org/10.1016/0304-4149(82)90051-5

VINCENT P . A connection between score matching and denoising autoencoders ［J］. Neural Computation ， 2011 ， 23 （ 7 ）： 1661 - 1674 . doi: 10.1162/neco_a_00142 http://dx.doi.org/10.1162/neco_a_00142

BOYD S ， PARIKH N ， CHU E ， et al .. Distributed optimization and statistical learning via the alternating direction method of multipliers ［J］. Foundations and Trends ® in Machine learning ， 2011 ， 3 （ 1 ）： 1 - 122 .

SAMSONOV A A ， KHOLMOVSKI E G ， PARKER D L ， et al . POCSENSE： POCS-based reconstruction for sensitivity encoded magnetic resonance imaging ［J］. Magnetic Resonance in Medicine ， 2004 ， 52 （ 6 ）： 1397 - 1406 . doi: 10.1002/mrm.20285 http://dx.doi.org/10.1002/mrm.20285

PARISI G . Correlation functions and computer simulations ［J］. Nuclear Physics B ， 1981 ， 180 （ 3 ）： 378 - 384 . doi: 10.1016/0550-3213(81)90056-0 http://dx.doi.org/10.1016/0550-3213(81)90056-0

QUAN C ， ZHOU J J ， ZHU Y Z ， et al . Homotopic gradients of generative density priors for MR image reconstruction ［J］. IEEE Transactions on Medical Imaging ， 2021 ， 40 （ 12 ）： 3265 - 3278 . doi: 10.1109/tmi.2021.3081677 http://dx.doi.org/10.1109/tmi.2021.3081677

HE Z N ， ZHANG Y K ， GUAN Y ， et al . Iterative reconstruction for low-dose CT using deep gradient priors of generative model ［J］. IEEE Transactions on Radiation and Plasma Medical Sciences ， 2022 ， 6 （ 7 ）： 741 - 754 . doi: 10.1109/trpms.2022.3148373 http://dx.doi.org/10.1109/trpms.2022.3148373

SONG J ， MENG C ， ERMON S . Denoising diffusion implicit models ［J］. arXiv preprint arXiv ： 2010.02502 ， 2020 .

浏览量

520

下载量

CSCD

文章被引用时，请邮件提醒。

提交

工具集

关联资源

联合全局与局部特征的深度压缩感知图像重构

Res2-Unet深度学习网络的RGB-高光谱图像重建

基于最小二乘正则相关性分析的颅骨身份识别

混合高斯/泊松最大似然函数下的CBCT图像重建

基于改进谱投影梯度算法的X射线发光断层成像