融合注意力的ConvNeXt视网膜病变自动分级

黄文博; 黄钰翔; 姚远; 燕杨

doi:10.37188/OPE.20223017.2147

您当前的位置：

首页 >

文章列表页 >

融合注意力的ConvNeXt视网膜病变自动分级

信息科学 | 更新时间：2022-10-08

- 融合注意力的ConvNeXt视网膜病变自动分级
- Automatic classification of retinopathy with attention ConvNeXt
- 光学精密工程 2022年30卷第17期页码：2147-2154
- 作者机构：
  
  1.长春师范大学计算机科学与技术学院，吉林长春 130032
  2.中国科学院重大任务局，北京 100864
- 作者简介：
  
  [ "黄文博（1980-），男，吉林长春人，博士，教授，硕士生导师，2018年于吉林大学获得博士学位，主要从事模式识别、图像处理及自然语言处理方面的研究。E-mail： huangwenbo@sina.com" ]
- 基金信息：
  
  吉林省自然科学基金资助项目(YDZJ202101ZYTS147);吉林省教育厅科学研究规划项目(JJKH20200830KJ);吉林省教育厅科学技术研究项目(JJKH20210887KJ)
- DOI：10.37188/OPE.20223017.2147
  中图分类号： TP391.7
- 收稿日期：2022-05-31，
  
  修回日期：2022-06-17，
  
  纸质出版日期：2022-09-10
- 稿件说明：
移动端阅览
黄文博,黄钰翔,姚远等.融合注意力的ConvNeXt视网膜病变自动分级[J].光学精密工程,2022,30(17):2147-2154.

HUANG Wenbo,HUANG Yuxiang,YAO Yuan,et al.Automatic classification of retinopathy with attention ConvNeXt[J].Optics and Precision Engineering,2022,30(17):2147-2154.
黄文博,黄钰翔,姚远等.融合注意力的ConvNeXt视网膜病变自动分级[J].光学精密工程,2022,30(17):2147-2154. DOI： 10.37188/OPE.20223017.2147.

HUANG Wenbo,HUANG Yuxiang,YAO Yuan,et al.Automatic classification of retinopathy with attention ConvNeXt[J].Optics and Precision Engineering,2022,30(17):2147-2154. DOI： 10.37188/OPE.20223017.2147.

摘要

由于视网膜病变的类间图像特征差别小及分类临界值相对模糊，自动分级算法存在识别与分级准确率低的问题，提出了融合高效通道注意力（Efficient Channel Attention， ECA）特征的ConvNeXt视网膜病变自动分级模型。针对数据集中数据不足的问题，采用水平翻转左右变换的方法扩充数据，并引入相关数据集来均衡数据的分布。针对眼底图像中出现的图像模糊、光照不均等问题，采用Graham方法对图像进行预处理突出病变特征。提出了融合注意力的ConvNeXt网络来辅助医生诊断视网膜病变，引入ECA机制，并设计了E-Block模块，该模块具有高性能、低参数的特性，能够在训练过程中有效捕捉跨通道交互的信息，同时避免降维。采用迁移学习方法训练网络的所有层参数，加入dropout方法避免ConvNeXt网络的学习能力过强导致的过拟合问题。实验结果表明，所提出的模型敏感性为95.20%，特异度为98.80%，准确率为95.21%。与常用的网络相比，本文方法针对视网膜病变自动分级各项性能指标均有提高。

Abstract

Due to the small differences in image features between classes and the relative fuzzy classification threshold of retinopathy， automatic classification algorithms are challenged by problems related to low recognition and classification accuracy. This paper proposes an automatic classification model for retinopathy based on an improved ConvNeXt network. Aiming at solving the problem of insufficient data in the data set， the horizontal flip left and right transformation method is used to expand the data， and related data sets are introduced to balance data distribution. To solve problems related to image blurring and uneven illumination in the fundus image， the Graham method was used to predict the image. The characteristics of the lesions are also highlighted. In this paper， an attention-fused ConvNeXt network was proposed to assist doctors in diagnosing retinopathy， an efficient channel attention mechanism was introduced， and an E-Block module was designed to channel interaction information while avoiding dimensionality reduction. The transfer learning method was used to train all layer parameters of the network， and the dropout method was added to avoid the overfitting problem caused by the strong learning ability of the ConvNeXt network. The results show that the sensitivity， specificity， and accuracy of the proposed model are 95.20%， 98.80%， and 95.21%， respectively. Compared with the ConvNeXt and other networks， the performance indexes of this network model for automatic classification of retinopathy.

关键词

Keywords

references

LI T ， BO W ， HU C Y ， et al . Applications of deep learning in fundus images： a review ［J］. Medical Image Analysis ， 2021 ， 69 ： 101971 . doi: 10.1016/j.media.2021.101971 http://dx.doi.org/10.1016/j.media.2021.101971

ALYOUBI W L ， SHALASH W M ， ABULKHAIR M F . Diabetic retinopathy detection through deep learning techniques： a review ［J］. Informatics in Medicine Unlocked ， 2020 ， 20 ： 100377 . doi: 10.1016/j.imu.2020.100377 http://dx.doi.org/10.1016/j.imu.2020.100377

XU K L ， FENG D W ， MI H B . Deep convolutional neural network-based early automated detection of diabetic retinopathy using fundus image ［J］. Molecules （Basel， Switzerland）， 2017 ， 22 （ 12 ）： 2054 . doi: 10.3390/molecules22122054 http://dx.doi.org/10.3390/molecules22122054

JIANG H Y ， YANG K ， GAO M D ， et al . An interpretable ensemble deep learning model for diabetic retinopathy disease classification ［J］. Annual International Conference of the IEEE Engineering in Medicine and Biology Society IEEE Engineering in Medicine and Biology Society Annual International Conference ， 2019 ， 2019 ： 2045 - 2048 . doi: 10.1109/embc.2019.8857160 http://dx.doi.org/10.1109/embc.2019.8857160

LI X G ， PANG T T ， XIONG B ， et al . Convolutional neural networks based transfer learning for diabetic retinopathy fundus image classification ［C］. 10th International Congress on Image and Signal Processing， BioMedical Engineering and Informatics （CISP-BMEI）. October 14 - 16 ， 2017. Shanghai. IEEE ， 2017： 1 - 11 .

韦哲，赵刚，王能才，等 . 基于深度学习的糖尿病视网膜分类方法研究［J］. 中国医学装备， 2020 ， 17 （ 10 ）： 11 - 15 . doi: 10.3969/J.ISSN.1672-8270.2020.10.004 http://dx.doi.org/10.3969/J.ISSN.1672-8270.2020.10.004

WEI ZH ， ZHAO G ， WANG N C ， et al . Study on the classification method of diabetic retina based on in-depth learning ［J］. China Medical Equipment ， 2020 ， 17 （ 10 ）： 11 - 15 . （in Chinese） . doi: 10.3969/J.ISSN.1672-8270.2020.10.004 http://dx.doi.org/10.3969/J.ISSN.1672-8270.2020.10.004

CHOLLET F . Xception： deep learning with depthwise separable convolutions ［C］. 2017 IEEE Conference on Computer Vision and Pattern Recognition （CVPR）. July 21 - 26 ， 2017 . Honolulu， HI. IEEE ， 2017 ： 1800 - 1807 . doi: 10.1109/cvpr.2017.195 http://dx.doi.org/10.1109/cvpr.2017.195

王嘉良，罗健旭，刘斌，等 . 基于R-FCN算法的糖尿病眼底病变自动诊断［J］. 计算机工程与应用， 2020 ， 56 （ 4 ）： 109 - 114 .

WANG J L ， LUO J X ， LIU B ， et al . Automatic detection of diabetic retinopathy based on R-FCN algorithm ［J］. Computer Engineering and Applications ， 2020 ， 56 （ 4 ）： 109 - 114 . （in Chinese）

LIN Z W ， GUO R Q ， WANG Y J ， et al . A Framework for Identifying Diabetic Retinopathy Based on Anti-noise Detection and Attention-based Fusion ［M］. Medical Image Computing and Computer Assisted Intervention-MICCAI 2018 . Cham ： Springer International Publishing ， 2018 ： 74 - 82 . doi: 10.1007/978-3-030-00934-2_9 http://dx.doi.org/10.1007/978-3-030-00934-2_9

郑雯，沈琪浩，任佳 . 基于Improved DR-Net算法的糖尿病视网膜病变识别与分级［J］. 光学学报， 2021 ， 41 （ 22 ）： 72 - 83 . doi: 10.3788/aos202141.2210002 http://dx.doi.org/10.3788/aos202141.2210002

ZHENG W ， SHEN Q H ， REN J . Recognition and classification of diabetic retinopathy based on improved DR-net algorithm ［J］. Acta Optica Sinica ， 2021 ， 41 （ 22 ）： 72 - 83 . （in Chinese） . doi: 10.3788/aos202141.2210002 http://dx.doi.org/10.3788/aos202141.2210002

谢云霞，黄海于，胡建斌 . 基于深度卷积神经网络的糖尿病视网膜病变分期及病灶检测［J］. 计算机应用， 2020 ， 40 （ 8 ）： 2460 - 2464 . doi: 10.11772/j.issn.1001-9081.2019122198 http://dx.doi.org/10.11772/j.issn.1001-9081.2019122198

XIE Y X ， HUANG H Y ， HU J B . Staging and lesion detection of diabetic retinopathy based on deep convolution neural network ［J］. Journal of Computer Applications ， 2020 ， 40 （ 8 ）： 2460 - 2464 . （in Chinese） . doi: 10.11772/j.issn.1001-9081.2019122198 http://dx.doi.org/10.11772/j.issn.1001-9081.2019122198

GRAHAM B . Kaggle diabetic retinopathy detection competition report ［R］. University of Warwick， Tech . Rep.， 2015 .

LIU Z ， LIN Y T ， CAO Y ， et al . Swin transformer： hierarchical vision transformer using shifted windows ［C］. 2021 IEEE/CVF International Conference on Computer Vision （ICCV）. October 10 - 17 ， 2021 . Montreal， QC， Canada. IEEE ， 2021 ： 10012 - 10022 . doi: 10.1109/iccv48922.2021.00986 http://dx.doi.org/10.1109/iccv48922.2021.00986

HE K M ， ZHANG X Y ， REN S Q ， et al . Deep residual learning for image recognition ［EB/OL］. IEEE ， 2016 ： 770 - 778 . 2015 ： arXiv ： 1512 . 03385 . https：//arxiv.org/abs/1512.03385 https://arxiv.org/abs/1512.03385 . doi: 10.1109/cvpr.2016.90 http://dx.doi.org/10.1109/cvpr.2016.90

HUANG G ， LIU Z ， VAN DER MAATEN L ， et al . Densely connected convolutional networks ［C］. 2017 IEEE Conference on Computer Vision and Pattern Recognition . Honolulu， HI， USA . IEEE ， 2016 ： 2261 - 2269 . doi: 10.1109/cvpr.2017.243 http://dx.doi.org/10.1109/cvpr.2017.243

ZHANG X Y ， ZHOU X Y ， LIN M X ， et al . ShuffleNet： an extremely efficient convolutional neural network for mobile devices ［C］. 2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition . Salt Lake City， UT， USA . IEEE ， 2018 ： 6848 - 6856 . doi: 10.1109/cvpr.2018.00716 http://dx.doi.org/10.1109/cvpr.2018.00716

浏览量

1084

下载量

CSCD

文章被引用时，请邮件提醒。

提交

工具集

关联资源

结合改进ConvNeXt网络与知识蒸馏的天气识别

基于ACGAN和迁移学习的骨显像分类方法

基于标签预留Softmax算法的机器视觉检测鉴别语义分割迁移学习技术

融合多尺度图像的密集神经网络肺部肿瘤识别算法

利用迁移学习的机载激光雷达点云分类