基于特征融合的改进型PointPillar点云目标检测

张勇; 石志广; 沈奇; 张焱; 张宇

doi:10.37188/OPE.20233119.2910

您当前的位置：

首页 >

文章列表页 >

基于特征融合的改进型PointPillar点云目标检测

信息科学 | 更新时间：2023-10-12

- 基于特征融合的改进型PointPillar点云目标检测
- Improved PointPillar point cloud object detection based on feature fusion
- 光学精密工程 2023年31卷第19期页码：2910-2920
- 作者机构：
  
  1.国防科技大学电子科学学院 ATR重点实验室，湖南长沙 410073
- 作者简介：
  
  [ "张勇（1995-），男，湖南长沙人，硕士，工程师，2018年于吉首大学获得学士学位，2021年于湖南师范大学获得硕士学位，主要从事自动目标识别及点云数据处理方面的研究。E-mail： zhangyong@hunnu.edu.cn" ]
  [ "石志广（1975-），男，湖南长沙人，副研究员，1996年于石家庄机械工程学院获得学士学位，2002年、2007年于国防科技大学分别获得硕士和博士学位，主要从红外与激光雷达成像信息处理、自动目标识别方面的研究。E-mail： szgstone75@sina.com" ]
- 基金信息：
  
  国家自然科学基金资助项目(62075239)
- DOI：10.37188/OPE.20233119.2910
  中图分类号：
扫描看全文
张勇, 石志广, 沈奇, 等. 基于特征融合的改进型PointPillar点云目标检测[J]. 光学精密工程, 2023,31(19):2910-2920.

ZHANG Yong, SHI Zhiguang, SHEN Qi, et al. Improved PointPillar point cloud object detection based on feature fusion[J]. Optics and Precision Engineering, 2023,31(19):2910-2920.
张勇, 石志广, 沈奇, 等. 基于特征融合的改进型PointPillar点云目标检测[J]. 光学精密工程, 2023,31(19):2910-2920. DOI： 10.37188/OPE.20233119.2910.

ZHANG Yong, SHI Zhiguang, SHEN Qi, et al. Improved PointPillar point cloud object detection based on feature fusion[J]. Optics and Precision Engineering, 2023,31(19):2910-2920. DOI： 10.37188/OPE.20233119.2910.

摘要

针对PointPillar在自动驾驶道路场景下对点云稀疏小目标检测效果差的问题，通过引入一种多尺度特征融合策略和注意力机制，提出一种点云目标检测网络Pillar-FFNet。针对网络中的特征提取问题，设计了一种基于残差结构的主干网络；针对馈入检测头的特征图没有充分利用高层特征的语义信息和低层特征的空间信息的问题，设计了一种简单有效的多尺度特征融合策略；针对主干网络提取的特征图中信息冗余的问题，提出了一种卷积注意力机制。为验证所提算法的性能，在KITTI和DAIR-V2X-I数据集上进行实验。实验结果表明，所提出的算法在KITTI数据集上与PointPillar相比，汽车、行人和骑行者的平均精度最大提高分别为0.84%，2.13%和4.02%；在DAIR-V2X-I数据集上与PointPillar相比，汽车、行人和骑行者的平均精度最大提高分别为0.33%，2.09%和4.71%，由此证明了所提方法对点云稀疏小目标检测的有效性。

Abstract

A point cloud object detection network， Pillar-FFNet， is proposed by introducing a multiscale feature fusion strategy and an attention mechanism to address the ineffectiveness of PointPillar in detecting small sparse objects in point clouds in autonomous driving road scenarios. First， a backbone network based on a residual structure is designed for feature extraction in the network. Second， a simple and effective multiscale feature fusion strategy is designed to address the problem that the feature maps fed into the detection head do not make full use of the semantic information of high-level features and the spatial information of low-level features. Finally， a convolutional attention mechanism is proposed to treat information redundancy in the feature maps extracted using the backbone network. To validate the performance of the proposed algorithm， experiments are conducted on the KITTI and DAIR-V2X-I datasets. The results show that the proposed algorithm achieves maximum average accuracy improvements of 0.84%， 2.13%， and 4.02% for cars， pedestrians， and cyclists， respectively， on the KITTI dataset and maximum average accuracy improvements of 0.33%， 2.09%， and 4.71% for cars， pedestrians， and cyclists， respectively， on the DAIR-V2X-I dataset compared with the PointPillar results. Experimental results demonstrate the effectiveness of the proposed method for the detection of sparse small objects in point clouds.

关键词

小目标检测点云稀疏PointPillar残差结构多尺度特征融合卷积注意力

Keywords

small object detectionpoint cloud sparsePointPillarresidual structuremulti-scale feature fusionconvolutional attention

references

BELLO S A， YU S S， WANG C， et al. Review： deep learning on 3D point clouds［J］. Remote Sensing， 2020， 12（11）： 1729. doi: 10.3390/rs12111729http://dx.doi.org/10.3390/rs12111729

邓家俊. 面向视频和点云数据的目标检测方法研究［D］. 合肥：中国科学技术大学， 2021.

DENG J J. Object Detection for Video Sequence and Point Clouds ［D］. Hefei： University of Science and Technology of China， 2021.（in Chinese）

SHI S S， WANG X G， LI H S. PointRCNN： 3D object proposal generation and detection from point cloud［C］. 2019 IEEE/CVF Conference on Computer Vision and Pattern Recognition （CVPR）.1520，2019， Long Beach， CA， USA. IEEE， 2020： 770-779. doi: 10.1109/cvpr.2019.00086http://dx.doi.org/10.1109/cvpr.2019.00086

YANG Z T， SUN Y N， LIU S， et al. 3DSSD： point-based 3D single stage object detector［C］. 2020 IEEE/CVF Conference on Computer Vision and Pattern Recognition （CVPR）.1319，2020， Seattle， WA， USA. IEEE， 2020： 11037-11045. doi: 10.1109/cvpr42600.2020.01105http://dx.doi.org/10.1109/cvpr42600.2020.01105

ZHANG Y F， HU Q Y， XU G Q， et al. Not all points are equal： learning highly efficient point-based detectors for 3D LiDAR point clouds［C］. 2022 IEEE/CVF Conference on Computer Vision and Pattern Recognition （CVPR）.1824，2022， New Orleans， LA， USA. IEEE， 2022： 18931-18940. doi: 10.1109/cvpr52688.2022.01838http://dx.doi.org/10.1109/cvpr52688.2022.01838

ZHOU Y， TUZEL O. VoxelNet： end-to-end learning for point cloud based 3D object detection［C］. 2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition. 1823，2018， Salt Lake City， UT， USA. IEEE， 2018： 4490-4499. doi: 10.1109/cvpr.2018.00472http://dx.doi.org/10.1109/cvpr.2018.00472

YAN Y， MAO Y X， LI B. SECOND： sparsely embedded convolutional detection［J］. Sensors， 2018， 18（10）： 3337. doi: 10.3390/s18103337http://dx.doi.org/10.3390/s18103337

LANG A H， VORA S， CAESAR H， et al. PointPillars： fast encoders for object detection from point clouds［C］. 2019 IEEE/CVF Conference on Computer Vision and Pattern Recognition （CVPR）.1520，2019， Long Beach， CA， USA. IEEE， 2020： 12689-12697. doi: 10.1109/cvpr.2019.01298http://dx.doi.org/10.1109/cvpr.2019.01298

BELTRÁN J， GUINDEL C， MORENO F M， et al. BirdNet： a 3D object detection framework from LiDAR information［C］. 2018 21st International Conference on Intelligent Transportation Systems （ITSC）.47，2018， Maui， HI， USA. IEEE， 2018： 3517-3523. doi: 10.1109/itsc.2018.8569311http://dx.doi.org/10.1109/itsc.2018.8569311

SHI G S， LI R F， MA C. PillarNet： Real-time and High-performance Pillar-based 3D Object Detection［M］. Lecture Notes in Computer Science. Cham： Springer Nature Switzerland， 2022： 35-52. doi: 10.1007/978-3-031-20080-9_3http://dx.doi.org/10.1007/978-3-031-20080-9_3

NOH J， LEE S， HAM B. HVPR： hybrid voxel-point representation for single-stage 3D object detection［C］. 2021 IEEE/CVF Conference on Computer Vision and Pattern Recognition （CVPR）.2025，2021， Nashville， TN， USA. IEEE， 2021： 14600-14609. doi: 10.48550/arXiv.2104.00902http://dx.doi.org/10.48550/arXiv.2104.00902

田枫，姜文文，刘芳，等. 混合体素与原始点云的三维目标检测方法［J］. 重庆理工大学学报（自然科学）， 2022（11）： 108-117.

TIAN F， JIANG W W， LIU F， et al. 3D object detection method based on mixed voxels and original point clouds［J］. Journal of Chongqing University of Technology （Natural Science）， 2022（11）： 108-117.（in Chinese）

LIU W， ANGUELOV D， ERHAN D， et al. SSD： Single Shot MultiBox Detector［M］. Computer Vision - ECCV 2016. Cham： Springer International Publishing， 2016： 21-37. doi: 10.1007/978-3-319-46448-0_2http://dx.doi.org/10.1007/978-3-319-46448-0_2

HE K M， ZHANG X Y， REN S Q， et al. Deep residual learning for image recognition［C］. 2016 IEEE Conference on Computer Vision and Pattern Recognition （CVPR）.2730，2016， Las Vegas， NV， USA. IEEE， 2016： 770-778. doi: 10.1109/cvpr.2016.90http://dx.doi.org/10.1109/cvpr.2016.90

申利华，李波. 基于特征金字塔网络和密集网络的肺部CT图像超分辨率重建［J］. 计算机应用， 2023， 43（5）： 1612-1619. doi: 10.11772/j.issn.1001-9081.2022040620http://dx.doi.org/10.11772/j.issn.1001-9081.2022040620

SHEN L H， LI B. Super-resolution reconstruction of lung CT images based on feature pyramid network and dense network［J］. Journal of Computer Applications， 2023， 43（5）： 1612-1619.（in Chinese）. doi: 10.11772/j.issn.1001-9081.2022040620http://dx.doi.org/10.11772/j.issn.1001-9081.2022040620

GEIGER A. Are we ready for autonomous driving？ The KITTI vision benchmark suite［C］. Proceedings of the 2012 IEEE Conference on Computer Vision and Pattern Recognition （CVPR）. New York： ACM， 2012： 3354-3361. doi: 10.1109/cvpr.2012.6248074http://dx.doi.org/10.1109/cvpr.2012.6248074

YU H B， LUO Y Z， SHU M， et al. DAIR-V2X： a large-scale dataset for vehicle-infrastructure cooperative 3D object detection［C］. 2022 IEEE/CVF Conference on Computer Vision and Pattern Recognition （CVPR）.1824，2022， New Orleans， LA， USA. IEEE， 2022： 21329-21338. doi: 10.1109/cvpr52688.2022.02067http://dx.doi.org/10.1109/cvpr52688.2022.02067

LIN T Y， DOLLÁR P， GIRSHICK R， et al. Feature pyramid networks for object detection［C］. 2017 IEEE Conference on Computer Vision and Pattern Recognition （CVPR）.2126，2017， Honolulu， HI， USA. IEEE， 2017： 936-944. doi: 10.1109/cvpr.2017.106http://dx.doi.org/10.1109/cvpr.2017.106

HU J， SHEN L， SUN G. Squeeze-and-excitation networks［C］. 2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition. 1823，2018， Salt Lake City， UT， USA. IEEE， 2018： 7132-7141. doi: 10.1109/cvpr.2018.00745http://dx.doi.org/10.1109/cvpr.2018.00745

WOO S， PARK J， LEE J Y， et al. CBAM： Convolutional Block Attention Module［M］. Computer Vision-ECCV 2018. Cham： Springer International Publishing， 2018： 3-19. doi: 10.1007/978-3-030-01234-2_1http://dx.doi.org/10.1007/978-3-030-01234-2_1

WANG Q L， WU B G， ZHU P F， et al. ECA-net： efficient channel attention for deep convolutional neural networks［C］. 2020 IEEE/CVF Conference on Computer Vision and Pattern Recognition （CVPR）.1319，2020， Seattle， WA， USA. IEEE， 2020： 11531-11539. doi: 10.1109/cvpr42600.2020.01155http://dx.doi.org/10.1109/cvpr42600.2020.01155

浏览量

下载量

CSCD

文章被引用时，请邮件提醒。

提交

工具集

关联资源

多尺度特征融合空洞卷积ResNet遥感图像建筑物分割

基于语义分割的复杂场景下的秸秆检测