基于迁移学习与特征融合的眼底图像分类

陈筱; 朱向冰; 吴昌凡; 余燕; 张鹏飞

doi:10.37188/OPE.20212902.0388

您当前的位置：

首页 >

文章列表页 >

基于迁移学习与特征融合的眼底图像分类

信息科学 | 更新时间：2021-03-05

- 基于迁移学习与特征融合的眼底图像分类
- Research on fundus image classification based on transfer learning and feature fusion
- 光学精密工程 2021年29卷第2期页码：388-399
- 作者机构：
  
  1.安徽师范大学物理与电子信息学院，安徽芜湖 241000
  2.皖南医学院第一附属医院眼科，安徽芜湖 241000
- 作者简介：
  
  [ "陈　筱（1997-），女，安徽亳州人，硕士研究生，2018年于安徽师范大学获得学士学位，主要从事机器学习、深度学习、图像识别等方面的研究。E-mail： mylovechenxiao@qq.com" ]
  [ "朱向冰（1973-），男，安徽芜湖人，教授， 1997年于中科院等离子体物理研究所获得硕士学位，2003年于中国科技大学获得博士学位，主要从事光电系统设计方面的研究。E-mail： zxbing@mail.ahnu.edu.cn" ]
- 基金信息：
  
  国家自然科学基金资助项目(81700867)
- DOI：10.37188/OPE.20212902.0388
  中图分类号： TP391.41
- 收稿日期：2020-08-03，
  
  修回日期：2020-10-18，
  
  纸质出版日期：2021-02-15
- 稿件说明：
移动端阅览
陈筱,朱向冰,吴昌凡等.基于迁移学习与特征融合的眼底图像分类[J].光学精密工程,2021,29(02):388-399.

CHEN Xiao,ZHU Xiang-bing,WU Chang-fan,et al.Research on fundus image classification based on transfer learning and feature fusion[J].Optics and Precision Engineering,2021,29(02):388-399.
陈筱,朱向冰,吴昌凡等.基于迁移学习与特征融合的眼底图像分类[J].光学精密工程,2021,29(02):388-399. DOI： 10.37188/OPE.20212902.0388.

CHEN Xiao,ZHU Xiang-bing,WU Chang-fan,et al.Research on fundus image classification based on transfer learning and feature fusion[J].Optics and Precision Engineering,2021,29(02):388-399. DOI： 10.37188/OPE.20212902.0388.

摘要

针对大量眼底图片难以收集和标注、有经验的眼科医生地区分配不均匀等，导致眼底疾病患者检查准确度低、花费时间较长等问题，本文基于迁移学习提出一种图像分类方法：首先修改EfficientNet-B0和EfficientNet-B7模型并进行参数微调，将微调后的模型作为特征提取器用于提取眼底图像的特征，再对提取的特征进行特征融合并使用DNN分类器实现最终分类，同时使用加权梯度类激活映射可视化解释模型诊断异常的原因。提出的方法在内部数据上十折交叉验证得到的平均准确度、灵敏度和AUC分别为95.74%，96.46%，0.987，在公开数据集JSIEC上获得97.04%的准确度和97.14%的灵敏度。结果表明该方法可用于大规模筛查异常眼底，辅助医生实现高效诊断。

Abstract

Given the many fundus images that must be collected and the uneven distribution of experienced ophthalmologists， which lead to low accuracy and lengthy examinations of patients with fundus diseases， this study proposes an image classification method based on transfer learning. We first modified and fine-tuned the EfficientNet-B0 and EfficientNet-B7 models for later use as feature extractors on fundus images. Feature fusion was then performed and a deep neural network classifier was finally implemented to detect abnormal fundus. In addition， a visual representation that used gradient-weighted class activation mapping was produced to explain why the model predicted that the fundus images would be abnormal. The proposed method obtained an average accuracy， sensitivity， and area under curve of 95.74%， 96.46%， and 0.987， respectively， for internal data using a 10-fold cross-validation. It also achieved an accuracy of 97.04% and sensitivity of 97.14% on the public JSIEC dataset. The results demonstrated that this method can be used for large-scale screening of abnormal fundus and can assist doctors in performing efficient diagnoses.

关键词

Keywords

references

CHAKRABARTY L ， JOSHI G D ， CHAKRAVARTY A ， et al . . Automated detection of glaucoma from topographic features of the optic nerve head in color fundus photographs ［J］. Journal of glaucoma ， 2016 ， 25 （ 7 ）： 590 - 597 .

GRINSVEN M J . J.P.V， LECHANTEUR Y T.E.， VEN J P.H. V D， et al .. Automatic drusen quantification and risk assessment of age-related macular degeneration on color fundus images ［J］. Investigative ophthalmology & visual science ， 2013 ， 54 （ 4 ）： 3019 - 3027 .

FAUW J D ， LEDSAM J R ， ROMERA-PAREDES B ， et al . . Clinically applicable deep learning for diagnosis and referral in retinal disease ［J］. Nature medicine ， 2018 ， 24 （ 9 ）： 1342 - 1350 .

LIU P ， GUO J-M ， CHAMNONGTHAI K ， et al . . Fusion of color histogram and LBP-based features for texture image retrieval and classification ［J］. Information Sciences ， 2017 ， 390 ： 95 - 111 .

RADMAN A ， ZAINAL N ， SUANDI S A . Automated segmentation of iris images acquired in an unconstrained environment using HOG-SVM and GrowCut ［J］. Digital Signal Processing ， 2017 ， 64 ： 60 - 70 .

LECUN Y ， BENGIO Y ， HINTON G . Deep learning ［J］. Nature ， 2015 ， 521 （ 7553 ）： 436 - 444 .

陈彦彤，陈伟楠，张献中，等 . 基于深度卷积神经网络的蝇类面部识别［J］. 光学精密工程， 2020 ， 28 （ 7 ）： 1558 - 1567 .

CHEN Y T ， CHEN W N ， ZHANG X ZH ， et al . . Fly facial recognition based on deep convolutional neural network ［J］. Opt. Precision Eng. ， 2020 ， 28 （ 7 ）： 1558 - 1567 . （in Chinese）

谭中伟，杨婧雅，刘艳，等 . 基于卷积神经网络的增敏型光纤弯曲传感器［J］. 光学精密工程， 2020 ， 28 （ 7 ）： 1454 - 1461 .

TAN ZH W ， YANG J Y ， LIU Y ， et al . . Enhanced fiber optic bending senor based on convolutional neural network ［J］. Opt. Precision Eng. ， 2020 ， 28 （ 7 ）： 1454 - 1461 . （in Chinese）

李云红，李弘昊，文达，等 . 卷积神经网络的光学晶格中超冷源自栋梁分布预测［J］. 光学精密工程， 2020 ， 28 （ 7 ）： 1480 - 1484 .

LI Y H ， LI H H ， WEN D ， et al . . Prediction of momentum of supercooled atoms in optical lattice using convolutional-recurrent network ［J］， Opt. Precision Eng. ， 2020 ， 28 （ 7 ）： 1480 - 1484 . （in Chinese）

贠卫国，史其琦，王民 . 基于深度卷积神经网络的多特征融合的手势识别［J］. 液晶与显示， 2019 ， 34 （ 4 ）： 417 - 422 .

YUN W G ， SHI Q Q ， WANG M . Multi-feature fusion gesture recognition based on deep convolutional neural network ［J］. Chinese Journal of Liquid Crystals and Displays ， 2019 ， 34 （ 4 ）： 417 - 422 . （in Chinese）

BESENCI R ， TOTH J ， HAJDU A . A review on automatic analysis techniques for color fundus photographs ［J］. Computational and structural biotechnology journal ， 2016 ， 14 ： 371 - 384 .

KRIZHEVSHY A ， SUTSKEVER I ， Hinton G . Imagenet classification with deep convolutional neural networks ［C］. Proceedings of Advances in neural information processing systems. Lake Tahoe ： MIT Press ， 2012 ： 1097 - 1105 .

TAN M ， LE QV . EfficientNet：Rethinking model scaling for convolutional neural networks ［C］. 36th International Conference on Machine Learning （ICML）， California ， 2019 ： 691 - 700 .

BREIMAN L . Random Forests ［J］. Machine Learning ， 2001 ， 45 （ 1 ）： 5 - 32 .

NOBEL W S . What is a support vector machine？［J］. Nature biotechnology ， 2006 ， 24 （ 12 ）： 1565 - 1567 .

CHEN T GUESTRIN C . Xgboost： A scalable tree boosting system ［C］. Proceedings of the 22nd acmsigkdd international conference on knowledge discovery and data mining. San Francisco ： ACM Press ， 2016 ： 785 - 794 .

YANG J ， YANG J Y ， ZHANG D ， et al . . Feature fusion： parallel strategy vs. serial strategy ［J］. Pattern Recognition ， 2003 ， 36 （ 6 ）： 1369 - 1381 .

WANG Z ， YIN Y ， SHI J ， et al .. Zoom-in-net： Deep mining lesions for diabetic retinopathy detection ［C］. Proceedings of International Conference on Medical Image Computing and Computer-Assisted Intervention. Cham ： Springer Press ， 2017 ： 267 - 275 .

GULSHAN V ， PENG L ， CORAM M ， et al . . Development and validation of a deep learning algorithm for detection of diabetic retinopathy in retinal fundus photographs ［J］. Jama ， 2016 ， 316 （ 22 ）： 2402 - 2410 .

YUL C J ， KEUN Y T ， GI S J ， et al . . Multi-categorical deep learning neural network to classify retinal images： A pilot study employing small database ［J］. Plos One ， 2017 ， 12 （ 11 ）： e0187336 .

SALEH E ， BLASCZYNSKIB J ， MORENO A ， et al . . Learning ensemble classifiers for diabetic retinopathy assessment ［J］. Artificial intelligence in medicine ， 2018 ， 85 ： 50 - 63 .

熊荔 . 基于彩色眼底图的图像分析与疾病自动诊断算法研究［D］. 北京：北京理工大学， 2017 .

XIONG L . Automatic Analysis and Diagnosis of Color Retinal Image ［D］. Beijing ： Beijing Institute of Technology ， 2017 . （in Chinese）

李建强，张苓琳，张莉，等 . 基于深度学习的白内障识别与分级［J］. 第二军医大学学报， 2018 ， 39 （ 8 ）： 878 - 885 .

LI J Q ， ZHANG L L ， ZHANG L ， et al . . Cataract recognition and grading based on deep learning ［J］. Academic Journal of Second Military Medical University ， 2018 ， 39 （ 8 ）： 878 - 885 . （in Chinese）

PRATAP T ， KOKIL P . Computer-aided diagnosis of cataract using deep transfer learning ［J］. Biomedical Signal Processing and Control ， 2019 ， 53 ： 101533 .

柯士园，胡曼，徐永利 . 基于集成学习的计算机辅助诊断青光眼算法研究［J］. 北京化工大学学报（自然科学版）， 2019 ， 46 （ 4 ）： 86 - 91 .

KE SH Y ， HU M ， XU Y L . Algorithms for computer-aided diagnosis of glaucoma based on ensemble learning ［J］. Journal of Beijing university of chemical technology （natural science edition）， 2019 ， 46 （ 4 ）： 86 - 91 . （in Chinese）

CLARO M ， VERAS R ， SANTANA A ， et al . . An hybrid feature space from texture information and transfer learning for glaucoma classification ［J］. Journal of Visual Communication and Image Representation ， 2019 ， 64 ： 102597 .

TAN C ， SUN F ， KONG T ， et al .. A survey on deep transfer learning ［C］. Proceedings of International Conference on Artificial Neural Networks. Cham ： Springer Press ， 2018 ： 270 - 279 .

SIMONYAN K ， ZISSERMAN A . Very Deep Convolutional Networks for Large-scale Image Recognition ［M］. International Conference on Learning Representations ， 2015 .

SZEGEDY C ， IOFFE S ， VANHOUCKE V ， et al .. Inception-v4， Inception-ResNet and the impact of residual connections on learning ［C］. Proceedings of Thirty-First AAAI Conference on Artificial Intelligence. San Francisco ： AAAI Press ， 2017 ： 4278 - 4284 .

OJALA T ， PIETIKAINEN M ， MAENPAAMAENPAA T . Multiresolution gray-scale and rotation invariant texture classification with local binary patterns ［J］. IEEE Transactions on Pattern Analysis & Machine Intelligence ， 2002 ， 24 （ 7 ）： 971 - 987 .

YUAN L H ， FU L ， YANG Y ， et al . . Analysis of texture feature extracted by gray level co-occurrence matrix ［J］. Journal of Computer Applications ， 2009 ， 29 （ 4 ）： 1018 - 1021 .

DALAL N ， TRIGGS B . Histograms of oriented gradients for human detection ［C］. Proceedings of IEEE Computer Society Conference on Computer Vision and Pattern Recognition. San Diego ： IEEE Press ， 2005 ： 886 - 893 .

CAI J ， LUO J ， WANG S ， et al . . Feature selection in machine learning： A new perspective ［J］. Neurocomputing ， 2018 ， 300 ： 70 - 79 .

GRANITTO P M ， FURLANELLO C ， BIASIOLI ， et al . . Recursive feature elimination with random forest for PTR-MS analysis of agroindustrial products ［J］. Chemometrics and Intelligent Laboratory Systems ， 2006 ， 83 （ 2 ）： 83 - 90 .

WU Y H ， LIU P ZH . A Classification Algorithm of Ultrasonic Thyroid Standard Planes Using LBP and HOG Features ［C］. International Conference on Anti-counterfeiting ， Security ， and Identification （ASID）， Xiamen ， China ： IEEE Press . 2019 ： 103 - 107 .

邹北骥，张子谦，朱承璋，等 . 基于残差网络的糖网自动筛查［J］. 计算机辅助设计与图像学学报， 2019 ， 31 （ 4 ）： 580 - 588 .

ZOU B J ， ZHANG Z Q ， ZHU CH ZH ， et al . . Automatic screening of diabetic retinopathy based on residual network ［J］. Journal of Computer-aided design and computer graphics ， 2019 ， 31 （ 4 ）： 580 - 588 . （in Chinese）

JOSE A M ， KUMARC. S. ， DEEPAV. . Automated detection of microaneurysm using textural analysis ［C］. International Conference on Intelligent Computing ， Instrumentation and Control Technologies （ICICICT）， India： IEEE press ， 2019 （ 1 ）： 791 - 796 .

SELVARAJU RR ， COGSWELL M ， DAS A ， et al .. Grad-CAM： Visual explanations from deep networks via gradient-based localization ［C］. Proceedings of the IEEE International Conference on Computer Vision， Italy ： IEEE press ， 2017 ： 618 - 626 .

浏览量

727

下载量

CSCD

文章被引用时，请邮件提醒。

提交

工具集

关联资源

强化边缘特征提取的双分支融合真实图像去雾

基于混合时空卷积的轻量级视频超分辨率重建

联合自注意力和分支采样的无人机图像目标检测

多维注意力机制与选择性特征融合的图像超分辨率重建

动态特征优化机制下的跨尺度红外行人检测