MMShip：中分辨率多光谱卫星图像船舶数据集 MMShip： medium resolution multispectral satellite imagery ship dataset 1 2 3 first-author 陈 丽（1995-），女，重庆人，博士研究生，主要从事多光谱卫星图像数据集的研究。E-mail： 595043997@qq.com http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=45715678&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=45715672&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=45715682&type= 22.01332855 32.00399780 陈 丽 （1995-），女，重庆人，博士研究生，主要从事多光谱卫星图像数据集的研究。E-mail： 595043997@qq.com 595043997@qq.com 1 2 3 1 3 corresp E-mail： s_y_w@sina.com E-mail： s_y_w@sina.com 王世勇（19-），男，吉林人，博士，研究员，博士生导师，主要从事红外光电系统技术、红外图像信号处理等方面的研究。E-mail： s_y_w@sina.com http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=45715677&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=45715715&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=45715687&type= 22.01332855 32.00400543 王世勇 （19-），男，吉林人，博士，研究员，博士生导师，主要从事红外光电系统技术、红外图像信号处理等方面的研究。E-mail： s_y_w@sina.com s_y_w@sina.com 1 3 corresp E-mail： s_y_w@sina.com E-mail： s_y_w@sina.com s_y_w@sina.com 1 2 3 中国科学院 上海技术物理研究所，上海 200083 中国科学院 上海技术物理研究所，上海 200083 Shanghai Institute of Technical Physics， Chinese Academy of Sciences， Shanghai 200083， China Shanghai Institute of Technical Physics， Chinese Academy of Sciences， Shanghai 200083， China 中国科学院大学，北京 100049 中国科学院大学，北京 100049 University of Chinese Academy of Sciences， Beijing 100049， China University of Chinese Academy of Sciences， Beijing 100049， China 中国科学院 红外探测与成像技术重点实验室，上海 200083 中国科学院 红外探测与成像技术重点实验室，上海 200083 Key Laboratory of Infrared System Detection and Imaging Technology， Chinese Academy of Sciences，Shanghai 200083， China Key Laboratory of Infrared System Detection and Imaging Technology， Chinese Academy of Sciences，Shanghai 200083， China 针对现有遥感船舶数据集均为裁剪后的图像，用数据集训练的检测算法直接运用于卫星图像原始尺度时检测效果较差的问题，建立了可见光和近红外4个波段的多光谱卫星船舶数据集MMShip，数据集同时包含卫星图像的原始尺度数据和切割后的小尺度船舶数据。本数据集引入多波段信息，弥补现有数据集多为可见光图像，而可见光容易受到光照条件等影响的缺点。在全球海域内下载云量低于3的Sentinel-2卫星图像，进行大气校正后只选取10 m分辨率的红绿蓝和近红外4个波段，以景为单位筛选出包含有船舶的图像。把筛选后的图像按无重叠的方式切分为512×512，剔除其中不包含船舶目标的图像。然后，使用LabelImage软件对小尺度数据进行了水平框标注，再将标注数据反推至原始尺度得到原始尺度下的标注信息。最后，利用几种典型的检测算法在切割后的MMShip小尺度数据集上进行了可见光、近红外、多光谱对比实验。构建了一个涵盖不同场景的多光谱卫星船舶目标数据集，包含497景原始尺度标注数据和裁剪后的5 016组船舶目标图像。对比实验验证了近红外波段信息的补充有助于提高船舶目标检测算法的精度。多光谱船舶数据集MMShip可用于卫星图像尺度和普通图像尺度的多光谱船舶目标检测算法研究。 Considering that the existing remote-sensing ship datasets consist entirely of cropped images， the detection effect of the detection algorithm trained on the datasets is poor when it is directly applied to satellite images of the original scale. In this study， a multispectral satellite ship dataset MMShip with four bands of visible and near-infrared （NIR） light was established. The dataset includes both the original-scale data of satellite images and cut small-scale ship data. Owing to the introduction of multi-band information， this dataset compensates for the shortcoming that most of the existing datasets contain visible images， which are easily affected by illumination conditions. Sentinel-2 satellite images with cloud cover of <3 in the oceans worldwide were downloaded. After atmospheric correction， only four bands—red， green， blue， and NIR—with a 10-m resolution were selected， and the images containing ships were screened by scene. Next， the screened images were divided into a size of 512 × 512 such that the divided images do not overlap， and the images that did not contain the ship target were eliminated. The LabelImage software was used to label the small-scale data with a horizontal frame， and then the labeled data were converted to the original scale to obtain the labeling information under the original scale. Finally， several typical detection algorithms were used to perform visible-light， near-infrared， and multispectral comparison experiments on the altered MMShip small-scale dataset. In this study， a multispectral satellite ship target dataset covering different scenes was constructed， which included 497 original scale-labeled data and 5 016 groups of cropped ship target images. The contrast experiment confirmed that the addition of near-infrared band information can increase the accuracy of the ship target detection algorithm. The developed multispectral ship dataset MMShip can be applied to research on algorithms for multispectral ship target detection at the satellite-image and ordinary-image scales. 多光谱遥感 数据集 船舶目标 Sentinel-2 multispectral remote sensing ship dataset ship detection Sentinel-2 1 引 言 1 近年来，随着卫星数量的不断增加，卫星图像质量逐渐提高，为海洋安全、海洋监视等相关研究带来了新的机遇。船舶目标检测是海洋监测的重要手段之一，在维护国家安全、海上交通、污染治理、边境管理等方面起着重要的作用。船舶检测通常利用异常检测、阈值分割和显著性检测等方法。近年来，随着深度学习在图像处理中的大放异彩，越来越多的研究者将深度学习算法应用到船舶遥感检测中 ［ 1 1 - 5 5 1-5 ］ ，并在光学图像的船舶目标检测中表现较好。尽管深度学习算法能够自动提取特征，但仍然需要大规模、高质量的数据集进行模型训练。 在深度学习领域已经建立了一些通用数据集来训练算法，如ImageNet ［ 6 6 ］ ，MSCOCO ［ 7 7 ］ ，PASCAL VOC ［ 8 8 ］ 。但直接将训练好的深度学习算法应用在遥感图像处理上其性能表现较差，难以满足实际需求。遥感图像与这些自然场景的图像有很大的不同。自然图像一般采用平视的角度，而遥感图像为俯视的角度。在遥感图像中，目标可能出现在任意位置，且朝向不一。此外，遥感图像容易受到太阳光照、云、雾等环境的干扰，在遥感图像中检测船舶目标面临着更大的挑战。目前，研究者已经建立了DOTA ［ 9 9 ］ ，NWPUVHR-10 ［ 10 10 ］ 和DIOR ［ 11 11 ］ 等数据集，用于遥感图像中的目标检测。Liu等建立了一个高分辨率数据集HRSC2016，将船舶细分为25类 ［ 12 12 ］ 。随后Chen等也建立了精细划分的数据集FGSD ［ 13 13 ］ ，2021年Zhang等结合HRSC2016，BCCT200 ［ 14 14 ］ 和FGSD构建了ShipRSImageNet数据集 ［ 15 15 ］ 。然而，这些公开数据集在船舶检测任务中有以下不足：（1）图像的数量和多样性仍不足以支持深度学习的训练，如在HRSC2016数据集中仅包含1 070张图像，虽有大量的数据增强算法来训练网络，但增强图像与实际图像之间仍然存在较大差距，难以适用于真实场景；（2）数据集均为分割后的图像，缺乏完整的原始图像信息；（3）数据多在可见光波段，较少引入其他波段的数据，图像获取到的波段信息较少；（4）数据集多为高分辨率图像，然而实际应用中仍有较多的中低分辨率图像，船舶目标在中低分辨率图像上显示为小目标。虽然利用高分辨率图像降采样到中低分辨率图像可以解决该问题，但与实际中低分辨率相比仍然存在较大差异。 因此，针对现有船舶遥感数据集中存在的不足，本文建立一个离岸船舶多光谱卫星图像数据集（Medium resolution Multispectral satellite imagery Ship dataset， MMShip）（数据集链接如下： https：//pan.baidu.com/s/1JdJboHEbP_a_dPgeucdI3g？pwd=clzz https://pan.baidu.com/s/1JdJboHEbP_a_dPgeucdI3g?pwd=clzz 提取码：clzz）用于船舶检测研究，并在本数据集上采用典型的目标检测算法进行评估。 2 MMShip数据集 1 原始数据为2020年~2021年的Sentinel-2海洋遥感影像数据。数据集建立流程如 图1 图1 所示，首先对获取到的原始数据进行大气校正，只保留原始数据的4个波段，并裁剪为512×512大小；然后，对分割后的图像进行筛选，剔除不包含船舶目标的图像再对图像进行标注，并反推到原始尺度。最后，可以同时得到一个分割后的数据集和原始尺度的数据集。 2.1　数据来源、标注及筛选 2 本数据集使用欧洲航天局发射的高分辨率多光谱卫星Sentinel-2数据，Sentinel-2可提供土壤、植被、内陆水体及海岸区域等图像，可从欧空局哥白尼数据中心下载。Sentinel-2数据包含level-1C以及level-2A。其中，1C级数据只进行了几何校正还需进行大气校正，而2A级产品可以直接使用。Sentinel-2数据拥有多个波段，最高分辨率为10 m。数据集中采用分辨率均为10 m的R（Red）、G（Green）、B（Blue）、NIR（Near infrared）4个波段，其中心波长分别为0.490，0.560，0.665，0.842 nm。本文将大气校正处理后的图像按无重叠方式进行切割，每景遥感图像的原始尺寸为10 980×10 980，裁剪后图像尺寸为512×512。部分小尺度数据样例如 图2 图2 所示，部分大尺度数据样例如 图3 图3 所示。 1;2; 因海洋环境复杂，单独的可见光或者近红外图像都可能存在船舶目标难以被观察到或误将小型岛屿误认为船舶目标的情况。因此在标注之前，首先单独对可见光和近红外进行筛选，若同时存在船舶目标，即认为该图像存在船舶。本文应用LableImg软件进行了标注，以PascalVOC格式作为标注格式。因为本数据集主要针对离岸海面场景，在图像中船舶并排情况较少，且在10 m分辨率图像中船舶为小目标，水平框足以体现船舶所在位置。因此，数据集采用最典型的水平矩形框标注。VOC格式的伪标注数据文件如下： <object> <name>ship</name> <bndbox> <xmin>118</xmin> <ymin>226</ymin> <xmax>148</xmax> <ymax>243</ymax> </bndbox> </object> 其中：object中包含了标注的信息，name代表类别名，（xmin，ymin）、（xmax，ymax）分别为目标包围框的左上点以及右下点，记录了水平包围框的信息。 2.2　数据集分析 2 MMShip小尺度数据集共包含5 016组图片，其中RGB和NIR各5 016张图片。每幅图像尺寸均为512×512，至少存在一个船舶目标，一共包含8 672个船舶实例。 图4 图4 ~ 图5 图5 分别为数据集标注框的宽高统计和面积统计。由统计分析结果得知，所有标注框的尺寸在52~1 558像素之间，标注框的像素低于整体图像像素的1%，在图像中显示为小目标。由 图4 图4 ~ 图5 图5 可以看出，标注框小于50×50，尺寸分布较为均匀，主要集中在100~800像素之间。 MMShip大尺度数据集共包含497组图片。 2.3　遥感船舶数据集对比 2 基于光学遥感图像的目标检测研究受到广泛关注，目前已经有较多的公开遥感图像目标检测数据集， 表1 表1 列出了包含船舶目标的遥感数据集。在这些数据集中、船舶目标作为一个大类与其他类别（如车、飞机、油罐等）进行区分。随着遥感船舶目标精细检测的需求，研究人员建立了专用的船舶目标检测的数据集，如 表2 表2 所示。在遥感船舶目标数据集中，船舶目标分为多类和1类的情况，但这些数据集均只在可见光波段，没有结合其他波段的情况。对于原始遥感影像而言，裁剪后的图像尺寸较小。而本文建立的数据集不仅有裁剪后的图像，还有原始尺寸的影像数据。原始数据可进行大尺度卫星图像船舶目标检测算法的研究。 Datasets Source Number Pixel Class Resolution/m Year NWPUVHR-10 Google Earth 800 1k×1k 10 0.5-2 2014 LEVIR ［ 16 16 ］ Google Earth 22k 800×600 3 0.2-1 2017 DOTA Google Earth/GF-2/JL-1 2 806 800×800-4 000×4 000 15 ≤0.5 2017 NWPU-RESISC45 ［ 17 17 ］ Google Earth 31 500 256×256 45 0.2-30 2017 HRRSD ［ 18 18 ］ Google Earth/Baidu Map 21 761 —— 13 0.15-1.2 2018 DIOR Google Earth 23 463 800×800 20 0.5-30 2018 xView ［ 19 19 ］ WorldView 3 1 412 1 500×1 500 60 ≤0.3 2018 Datasets Source Number Pixel Class Resolution/m Band Year HRSC2016 Google Earth 1 070 300×300-1 500×900 25 0.4-2 RGB 2016 Kaggle ［ 20 20 ］ SPOT6/7，Pléiades 192 556 768×768 1 0.3-6 RGB 2018 MASATI ［ 21 21 ］ Microsoft Bing maps 6 212 512×512 1 —— RGB 2018 FGSD Google Earth 2 612 930×930 43 0.12~1.93 RGB 2020 ShipRSImageNet Multiple 3 435 930×930-1 500×1 500 50 0.12~6 RGB 2021 FGSC-23 ［ 22 22 ］ Multiple 4 052 —— 23 0.4~2 RGB 2021 MMShip Sentinel-2 5 016 512×512 10 980×10 980 1 10 RGB/NIR 本文 2.4　MMShip数据集优势及应用 2 MMShip数据集涵盖全球多个海域与港口，包含多种场景。与HRSC2016，FGSD等船舶数据集对比，本文提出的MMShip数据集有以下特点： （1）图像及船舶实例的数据量较大，且覆盖全球海域，涵盖多种场景，有利于评估不同的基于深度学习的船舶检测和识别算法； （2）同时包含10 m分辨率的可见光图像与近红外图像，可供研究者们进行可见光、近红外图像的单独分析，或多波段图像检测船舶的融合分析，且红外图像与可见光分辨率相同，不存在分辨率不同丢失船舶细节的问题； （3）同时包含大尺度和小尺度数据，目前公开的遥感船舶数据多为切割后的图像，缺乏原始尺度的数据，增加大尺度数据有利于训练算法从卫星原始图像出发直接检测船舶目标，为后续星上检测船舶提供可靠算法； （4）船舶目标较小可用于小目标检测算法研究。目前大多数数据集为固定港口图像，主要针对的是港口管理等应用场景。对于港口管理等应用场景，船舶目标大，图像分辨率高。然而，本数据主要为船舶离岸场景，针对海上搜救的等应用，需要快速在大片海域中搜索到较小的船只并定位。在船舶目标检测中，其难点转变为大幅遥感图像中小目标的准确定位。同时在大尺度遥感图像中，只有极少船舶出现，且目标所占像素少，在复杂的海洋背景中利用算法快速检测定位船舶小目标仍具有较大的挑战。 3 检测配置 1 本文在MMShip小尺度数据集上对几种典型的目标检测方法进行了评估，按8∶2的比率将数据集随机划分为训练集和测试集。所有实验采用的计算机配置是NVIDIA GeForce RTX 3080显卡，32G内存。操作系统为Windows 10，利用pytorch 1.8.0框架在cuda11.1的背景下调用单GPU训练和测试。 表3 表3 列出了其他配置信息。 Configuration Version Python 3.7.11 Pytorch 1.8.0 Torchvision 0.9.0 MMdetection 2.22.0 mmcv 1.4.6 CUDA 11.1 3.1　实验设置 2 为了创建一个更好的评价基准，本文采用以下两种深度学习算法： （1）“One-stage”基于回归的方法：SSD ［ 23 23 ］ ，RetinaNet ［ 24 24 ］ ，FoveaBox ［ 25 25 ］ 和FCOS ［ 26 26 ］ 。 （2）“Two-stage”基于建议框的方法：Faster R-CNN ［ 27 27 ］ ，Cascade R-CNN ［ 28 28 ］ 。 本文利用MMDetection ［ 29 29 ］ （v2.22）进行实验。MMDetection是OpenMMLab公司基于PyTorch建立的开源检测工具箱。在实验中，本文设置batch size=4，训练轮次为72，不加载预训练模型，不冻结任意一层，均采用随机梯度下降的优化方法，动量设置为0.9，正则化设置为0.000 1，同时加入Group Normalization （GN）和Weight Standardization（WS），除学习率外其余设置均按原始设置。 3.2　Group Normalization 和 Weight Standardization 2 批归一化（Batch Normalization，BN）可以使得较深的神经网络也能够收敛，但会受batch尺寸的影响，实验表明batch size要足够大，否则会导致均值标准差统计结果不准确，从而降低模型精度。本文在不使用预训练模型的情况下，从零开始训练目标检测模型，由于设置的batch size较小，使用BN会导致模型发散，收敛困难。组归一化（Group Normalization， GN）具有不依赖batch size的特点，表现稳定，因此本文用GN来代替BN。 图6 图6 显示了两种不同的归一化方法，其中 N 为batch size， C 为通道数，（ H ， W ）表示feature map的宽高值，蓝色像素代表进行的归一化区域。其中，BN计算的是一个batch size中样本的均值和标准差，GN计算的是同一个通道划分为若干分组来计算样本的均值和标准差，最后得到归一化值。 权重标准化（Weight Standardization， WS）和BN等在数据层面进行归一化的操作类似，WS对模型中的卷积层权重求均值和标准差后对其进行归一化操作。WS只受权重参数的影响，与batch size无关，因此也可以较好地适用于本文的检测任务。 4 实 验 1 4.1　评价指标 2 本文选择平均精度（Average Precision， AP）度量来评估各检测算法在本数据上的性能，将真值与预测框的交并比（Intersection over Union ，IOU）设置为0.5，0.75，0.9。Precision-Recall曲线所包围的区域AP定义如下： <math display="block" id="M1"><mi>A</mi><mi>P</mi><mo>=</mo><msubsup><mo>∫</mo><mrow><mn mathvariant="normal">0</mn></mrow><mrow><mn mathvariant="normal">1</mn></mrow></msubsup><mrow><mi>p</mi><mo stretchy="false">(</mo><mi>r</mi><mo stretchy="false">)</mo></mrow><mi mathvariant="normal">d</mi><mo stretchy="false">(</mo><mi>r</mi><mo stretchy="false">)</mo></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=45715877&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=45715876&type= 28.53266525 7.87400007 ， 其中 <math id="M2"><mi>r</mi></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=45715882&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=45715867&type= 1.69333339 2.79399991 是召回率， <math id="M3"><mi>p</mi></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=45715890&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=45715888&type= 2.28600001 3.64066648 是准确率，具体计算如下： <math display="block" id="M4"><mi>r</mi><mo>=</mo><mfrac><mrow><msub><mrow><mi>P</mi></mrow><mrow><mi mathvariant="normal">T</mi></mrow></msub></mrow><mrow><msub><mrow><mi>P</mi></mrow><mrow><mi mathvariant="normal">T</mi></mrow></msub><mo>+</mo><msub><mrow><mi>N</mi></mrow><mrow><mi mathvariant="normal">F</mi></mrow></msub></mrow></mfrac></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=45715896&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=45715893&type= 20.31999969 8.38199997 ， <math display="block" id="M5"><mi>p</mi><mo>=</mo><mfrac><mrow><msub><mrow><mi>P</mi></mrow><mrow><mi mathvariant="normal">T</mi></mrow></msub></mrow><mrow><msub><mrow><mi>P</mi></mrow><mrow><mi mathvariant="normal">T</mi></mrow></msub><mo>+</mo><msub><mrow><mi>P</mi></mrow><mrow><mi mathvariant="normal">F</mi></mrow></msub></mrow></mfrac></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=45715907&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=45715904&type= 20.65866661 8.38199997 ， 式中： <math id="M6"><msub><mrow><mi>P</mi></mrow><mrow><mi mathvariant="normal">T</mi></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=45715918&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=45715909&type= 4.23333359 3.72533321 为样本为正并且预估为正； <math id="M7"><msub><mrow><mi>P</mi></mrow><mrow><mi mathvariant="normal">F</mi></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=45715922&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=45715913&type= 3.97933316 3.72533321 为样本为负预估为正； <math id="M8"><msub><mrow><mi>N</mi></mrow><mrow><mi mathvariant="normal">F</mi></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=45715928&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=45715926&type= 4.40266657 3.80999994 为样本为正预估为负。 4.2　实验结果 2 首先，利用Faster R-CNN来验证GN和BN模块的有效性，这里学习率（Learning Rate，lr）设置为0.02。 图7 图7 分别展示了Faster R-CNN加入模块后损失loss下降以及准确率（Accuracy，acc）的变化。图中，Fater_R-CNN代表采用BN方式进行归一化的基础模型，Fater_R-CNN_GN和Fater_R-CNN_GN_WS则表示在基础模型之上引入GN和WS。由 图6 图6 可以看出，引入GN和WS的模型收敛得更快，准确率也得到了提升。本文在MMdetection工具箱中运行的所有算法均引入了GN和WS。 1;2; 实验运行了“One-stage”“Two-stage”检测方法，并将“One-stage”中算法分为Anchor-free与Anchor-based，各网络之间采用不同的骨干网络。将网络分为可见光、近红外和多光谱3种不同输入进行分析对比，如 表4 表4 所示，其中AP 50 表示为设置IOU=0.5时的AP值。在MMdetection工具箱中，当8GPU并行运行时，每个GPU上读取两张图，batch size=16，这里基础设置预训练模型参数lr=0.02。实验只有单GPU，每个GPU上读取4张图，batch size=4，当有预训练模型时，lr=0.02/16×4=0.025，由于本文是从零开始训练，这里将lr扩大了4倍。不同的算法，在工具箱中已经给出最合适的lr参数，为了更好地收敛，各算法均按上述方式进行了lr的修改， 表5 表5 给出了各算法的lr参数。 2 Method 2 Backbone 3 NIR（%） 3 RGB（%） 3 Multispectral（%） AP 50 AP 75 AP 90 AP 50 AP 75 AP 90 AP 50 AP 75 AP 90 One-stage Anchor-based SSD512 VGG16 74.11 44.92 1.47 75.39 41.67 3.03 74.62 44.16 4.89 One-stage Anchor-based RetinaNet ResNet50 88.32 46.95 3.03 87.39 38.90 2.27 67.50 41.86 3.41 One-stage Anchor-free FoveaBox ResNet50 82.51 45.17 9.09 76.97 36.80 9.09 79.17 41.19 7.03 One-stage Anchor-free FCOS ResNet50 89.12 47.68 0.71 88.90 46.85 2.27 88.99 46.83 1.52 Two-stage Faster R-CNN ResNet50 77.41 50.88 2.61 87.46 49.40 0.73 82.41 52.77 2.14 Two-stage Cascade R-CNN ResNet50 90.39 53.31 1.30 90.46 52.72 3.03 90.57 52.13 9.09 Method lr SSD512 0.000 5 RetinaNet 0.010 0 FoveaBox 0.005 0 FCOS 0.010 0 Faster R-CNN 0.020 0 Cascade R-CNN 0.020 0 实验表明，不同算法在小尺度数据集上的检测效果不同，除在近红外AP 90 和多光谱AP 75 以外，Cascade R-CNN算法均优于其他算法，其中“Two-stage”算法大部分优于“One-stage”算法。从输入的角度分析，由于近红外图像只包含图像的灰度信息，缺少颜色等细节特性，检测结果略次于可见光；多光谱图像因为同时引入了可见光和近红外的信息，网络可以更好地检测到目标，在相同的网络设置下检测结果略高于可见光和近红外图像。 为验证数据集的先进性，本文选用“One-stage”中基于Anchor-based的算法RetinaNet，基于Anchor-free的算法FCOS以及“Two-stage”中的Faster R-CNN算法在HRSC2016数据集上进行了测试实验。考虑到本文只分1类的情况，测试只对HRSC2016数据集L1级分类方式进行实验，测试结果如 表6 表6 所示。由 表6 表6 可以看出，MMShip与HRSC2016呈现相同的变化趋势，在AP 90 处结果较好，但在AP 75 与AP 50 处呈现大幅度下降的趋势。 2 Method 2 Backbone 3 RGB/% AP 50 AP 50 AP 75 Rotated-RetinaNet ResNet50 84.263 59.07 10.48 Rotated-FCOS ResNet50 88.52 65.76 7.93 Rotated-Faster R-CNN ResNet50 78.99 43.91 9.09 5 结 论 1 本文针对现有数据集训练的遥感船舶目标检测算法在实际应用于原始尺度场景图像时效果较差的问题，建立了一个大型的、公开的多光谱船舶数据集MMShip。与其他遥感数据集相比，MMShip数据集数量充足，同时包含大尺度数据497景和小尺度数据5 016组可见光和近红外图像，适用于多波段、原始卫星图像尺度的算法研究。随后，将经典Faster R-CNN、SSD，RetinaNet，FoveBox，FCOS，Cascade R-CNN算法在MMShip小尺度数据集上进行了可见光、近红外和多光谱对比分析，实验验证了引入NIR波段信息检测船舶可提高检测效率，其中IOU=0.9时增长最明显。单独利用NIR波段进行船舶检测的结果与可见光检测结果相差不到1%。然而，MMShip缺乏丰富的类别标签，数据规模和常规深度学习数据集相比仍然很小。在未来工作中，可继续扩充数据集并与其他数据集整合，用于多尺度船舶目标检测。 参考文献 徐芳 ， 刘晶红 ， 孙辉 ， 等 . 光学遥感图像海面船舶目标检测技术进展 ［J］. 光学 精密工程 ， 2021 ， 29 （ 4 ）： 916 - 931 . doi: 10.37188/OPE.2020.0419 http://dx.doi.org/10.37188/OPE.2020.0419 光学遥感图像海面船舶目标检测技术进展 XU F ， LIU J H ， SUN H ， et al . Research progress on vessel detection using optical remote sensing image ［J］. Opt. Precision Eng. ， 2021 ， 29 （ 4 ）： 916 - 931 . （in Chinese） . doi: 10.37188/OPE.2020.0419 http://dx.doi.org/10.37188/OPE.2020.0419 Research progress on vessel detection using optical remote sensing image WANG Z Q ， ZHOU Y ， WANG F T ， et al . SDGH-net： ship detection in optical remote sensing images based on Gaussian heatmap regression ［J］. Remote Sensing ， 2021 ， 13 （ 3 ）： 499 . doi: 10.3390/rs13030499 http://dx.doi.org/10.3390/rs13030499 SDGH-net： ship detection in optical remote sensing images based on Gaussian heatmap regression QIN H N ， LI Y S ， LEI J ， et al . A specially optimized one-stage network for object detection in remote sensing images ［J］. IEEE Geoscience and Remote Sensing Letters ， 2021 ， 18 （ 3 ）： 401 - 405 . doi: 10.1109/lgrs.2020.2975086 http://dx.doi.org/10.1109/lgrs.2020.2975086 A specially optimized one-stage network for object detection in remote sensing images JIN L ， LIU G D . An approach on image processing of deep learning based on improved SSD ［J］. Symmetry ， 2021 ， 13 （ 3 ）： 495 . doi: 10.3390/sym13030495 http://dx.doi.org/10.3390/sym13030495 An approach on image processing of deep learning based on improved SSD LI H ， DENG L B ， YANG C ， et al . Enhanced YOLO v3 tiny network for real-time ship detection from visual image ［J］. IEEE Access ， 2021 ， 9 ： 16692 - 16706 . doi: 10.1109/access.2021.3053956 http://dx.doi.org/10.1109/access.2021.3053956 Enhanced YOLO v3 tiny network for real-time ship detection from visual image XIE X Y ， LI B ， WEI X X . Ship detection in multispectral satellite images under complex environment ［J］. Remote Sensing ， 2020 ， 12 （ 5 ）： 792 . doi: 10.3390/rs12050792 http://dx.doi.org/10.3390/rs12050792 Ship detection in multispectral satellite images under complex environment LIN T Y ， MAIRE M ， BELONGIE S ， et al . Microsoft COCO ： Common Objects in Context ［M］. Computer Vision-ECCV 2014 . Cham ： Springer International Publishing ， 2014 ： 740 - 755 . doi: 10.1007/978-3-319-10602-1_48 http://dx.doi.org/10.1007/978-3-319-10602-1_48 Microsoft COCO： Common Objects in Context EVERINGHAM M ， ESLAMI S M ， GOOL L ， et al . The pascal visual object classes challenge： a retrospective ［J］. International Journal of Computer Vision ， 2015 ， 111 （ 1 ）： 98 - 136 . doi: 10.1007/s11263-014-0733-5 http://dx.doi.org/10.1007/s11263-014-0733-5 The pascal visual object classes challenge： a retrospective XIA G S ， BAI X ， DING J ， et al . DOTA： a large-scale dataset for object detection in aerial images ［C］. 2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition . 1823，2018 ， Salt Lake City， UT， USA . IEEE ， 2018 ： 3974 - 3983 . doi: 10.1109/cvpr.2018.00418 http://dx.doi.org/10.1109/cvpr.2018.00418 DOTA： a large-scale dataset for object detection in aerial images CHENG G ， HAN J W ， ZHOU P C ， et al . Learning rotation-invariant and fisher discriminative convolutional neural networks for object detection ［J］. IEEE Transactions on Image Processing ， 2019 ， 28 （ 1 ）： 265 - 278 . doi: 10.1109/tip.2018.2867198 http://dx.doi.org/10.1109/tip.2018.2867198 Learning rotation-invariant and fisher discriminative convolutional neural networks for object detection LI K ， WAN G ， CHENG G ， et al . Object detection in optical remote sensing images： a survey and a new benchmark ［J］. ISPRS Journal of Photogrammetry and Remote Sensing ， 2020 ， 159 ： 296 - 307 . doi: 10.1016/j.isprsjprs.2019.11.023 http://dx.doi.org/10.1016/j.isprsjprs.2019.11.023 Object detection in optical remote sensing images： a survey and a new benchmark LIU Z K ， YUAN L ， WENG L B ， et al . A high resolution optical satellite image dataset for ship recognition and some new baselines ［C］. Proceedings of the 6th International Conference on Pattern Recognition Applications and Methods. February 24 - 26 ， 2017 . Porto， Portugal. SCITEPRESS - Science and Technology Publications ， 2017 ： 324 - 331 . A high resolution optical satellite image dataset for ship recognition and some new baselines CHEN K ， WU M ， LIU J ， et al . FGSD ： A Dataset for Fine-grained Ship Detection in High Resolution Satellite Images ［EB/OL］. 2020 ： arXiv ： 2003 . 06832 . https：//arxiv.org/abs/2003.06832 https://arxiv.org/abs/2003.06832 . FGSD： A Dataset for Fine-grained Ship Detection in High Resolution Satellite Images RAINEY K ， STASTNY J . Object recognition in ocean imagery using feature selection and compressive sensing ［C］. 2011 IEEE Applied Imagery Pattern Recognition Workshop （AIPR）. 1113，2011 ， Washington， DC， USA. IEEE ， 2012 ： 1 - 6 . doi: 10.1109/aipr.2011.6176352 http://dx.doi.org/10.1109/aipr.2011.6176352 Object recognition in ocean imagery using feature selection and compressive sensing ZHANG Z N ， ZHANG L ， WANG Y ， et al . ShipRSImageNet： a large-scale fine-grained dataset for ship detection in high-resolution optical remote sensing images ［J］. IEEE Journal of Selected Topics in Applied Earth Observations and Remote Sensing ， 2021 ， 14 ： 8458 - 8472 . doi: 10.1109/jstars.2021.3104230 http://dx.doi.org/10.1109/jstars.2021.3104230 ShipRSImageNet： a large-scale fine-grained dataset for ship detection in high-resolution optical remote sensing images ZOU Z X ， SHI Z W . Random access memories： a new paradigm for target detection in high resolution aerial remote sensing images ［J］. IEEE Transactions on Image Processing ， 2018 ， 27 （ 3 ）： 1100 - 1111 . doi: 10.1109/tip.2017.2773199 http://dx.doi.org/10.1109/tip.2017.2773199 Random access memories： a new paradigm for target detection in high resolution aerial remote sensing images CHENG G ， HAN J W ， LU X Q . Remote sensing image scene classification： benchmark and state of the art ［J］. Proceedings of the IEEE ， 2017 ， 105 （ 10 ）： 1865 - 1883 . doi: 10.1109/jproc.2017.2675998 http://dx.doi.org/10.1109/jproc.2017.2675998 Remote sensing image scene classification： benchmark and state of the art CHENG G ， XIE X X ， HAN J W ， et al . Remote sensing image scene classification meets deep learning： challenges， methods， benchmarks， and opportunities ［J］. IEEE Journal of Selected Topics in Applied Earth Observations and Remote Sensing ， 2020 ， 13 ： 3735 - 3756 . doi: 10.1109/jstars.2020.3005403 http://dx.doi.org/10.1109/jstars.2020.3005403 Remote sensing image scene classification meets deep learning： challenges， methods， benchmarks， and opportunities LAM D ， KUZMA R ， MCGEE K ， et al . xView ： Objects in Context in Overhead Imagery ［EB/OL］. 2018 ： arXiv ： 1802 . 07856 . https：//arxiv.org/abs/1802.07856 https://arxiv.org/abs/1802.07856 . xView： Objects in Context in Overhead Imagery Airbus . Airbus Ship Detection Challenge ， 2018 . ［Z/OL］. Accessed： Dec . 1 ， 2020 . https：//www.kaggle.com/c/airbus-ship-detection/data https://www.kaggle.com/c/airbus-ship-detection/data . Airbus Ship Detection Challenge， 2018 GALLEGO A J ， PERTUSA A ， GIL P . Automatic ship classification from optical aerial images with convolutional neural networks ［J］. Remote Sensing ， 2018 ， 10 （ 4 ）： 511 . doi: 10.3390/rs10040511 http://dx.doi.org/10.3390/rs10040511 Automatic ship classification from optical aerial images with convolutional neural networks 姚力波 ， 张筱晗 ， 吕亚飞 ， 等 . FGSC-23： 面向深度学习精细识别的高分辨率光学遥感图像舰船目标数据集 ［J］. 中国图象图形学报 ， 2021 ， 26 （ 10 ）： 2337 - 2345 . FGSC-23： 面向深度学习精细识别的高分辨率光学遥感图像舰船目标数据集 YAO L B ， ZHANG X H ， LYU Y F ， et al . FGSC-23： a large-scale dataset of high-resolution optical remote sensing image for deep learning-based fine-grained ship recognition ［J］. Journal of Image and Graphics ， 2021 ， 26 （ 10 ）： 2337 - 2345 . （in Chinese） FGSC-23： a large-scale dataset of high-resolution optical remote sensing image for deep learning-based fine-grained ship recognition LIU W ， ANGUELOV D ， ERHAN D ， et al . SSD ： Single Shot MultiBox Detector ［M］. Computer Vision-ECCV 2016 . Cham ： Springer International Publishing ， 2016 ： 21 - 37 . doi: 10.1007/978-3-319-46448-0_2 http://dx.doi.org/10.1007/978-3-319-46448-0_2 SSD： Single Shot MultiBox Detector LIN T Y ， GOYAL P ， GIRSHICK R ， et al . Focal loss for dense object detection ［C］. 2017 IEEE International Conference on Computer Vision （ICCV）. 2229，2017 ， Venice， Italy. IEEE ， 2017 ： 2999 - 3007 . doi: 10.1109/iccv.2017.324 http://dx.doi.org/10.1109/iccv.2017.324 Focal loss for dense object detection KONG T ， SUN F C ， LIU H P ， et al . FoveaBox： beyound anchor-based object detection ［J］. IEEE Transactions on Image Processing ， 2020 ， 29 ： 7389 - 7398 . doi: 10.1109/tip.2020.3002345 http://dx.doi.org/10.1109/tip.2020.3002345 FoveaBox： beyound anchor-based object detection TIAN Z ， SHEN C H ， CHEN H ， et al . FCOS： fully convolutional one-stage object detection ［C］. 2019 IEEE/CVF International Conference on Computer Vision （ICCV）. 272，2019 ， Seoul， Korea （South）. IEEE ， 2020 ： 9626 - 9635 . doi: 10.1109/iccv.2019.00972 http://dx.doi.org/10.1109/iccv.2019.00972 FCOS： fully convolutional one-stage object detection REN S Q ， HE K M ， GIRSHICK R ， et al . Faster R-CNN： towards real-time object detection with region proposal networks ［J］. IEEE Transactions on Pattern Analysis and Machine Intelligence ， 2017 ， 39 （ 6 ）： 1137 - 1149 . doi: 10.1109/tpami.2016.2577031 http://dx.doi.org/10.1109/tpami.2016.2577031 Faster R-CNN： towards real-time object detection with region proposal networks CAI Z W ， VASCONCELOS N . Cascade R-CNN： delving into high quality object detection ［C］. 2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition . 1823，2018 ， Salt Lake City， UT， USA . IEEE ， 2018 ： 6154 - 6162 . doi: 10.1109/cvpr.2018.00644 http://dx.doi.org/10.1109/cvpr.2018.00644 Cascade R-CNN： delving into high quality object detection CHEN K ， WANG J ， PANG J ， et al . MMDetection ： open MMLab detection toolbox and benchmark ［EB/OL］. 2019 ： arXiv ： 1906 . 07155 . https：//arxiv.org/abs/1906.07155 https://arxiv.org/abs/1906.07155 . MMDetection： open MMLab detection toolbox and benchmark 10.37188/OPE.20233113.1962 TP79 A 1004-924X（2023）13-1962-11 陈丽,李临寒,王世勇等.MMShip：中分辨率多光谱卫星图像船舶数据集[J].光学精密工程,2023,31(13):1962-1972. 陈丽,李临寒,王世勇等.MMShip：中分辨率多光谱卫星图像船舶数据集[J].光学精密工程,2023,31(13):1962-1972. CHEN Li,LI Linhan,WANG Shiyong,et al.MMShip： medium resolution multispectral satellite imagery ship dataset[J].Optics and Precision Engineering,2023,31(13):1962-1972. CHEN Li,LI Linhan,WANG Shiyong,et al.MMShip： medium resolution multispectral satellite imagery ship dataset[J].Optics and Precision Engineering,2023,31(13):1962-1972. 中国科学院上海技术物理研究所创新专项基金（No.CX-269） 2022-09-06 2022-10-11 2023-07-10 2023-07-17 39565423 光学精密工程 13 31