动态特征优化机制下的跨尺度红外行人检测

郝帅; 何田; 马旭; 杨磊; 孙思雅

doi:10.37188/OPE.20223019.2390

您当前的位置：

首页 >

文章列表页 >

动态特征优化机制下的跨尺度红外行人检测

信息科学 | 更新时间：2022-10-24

- 动态特征优化机制下的跨尺度红外行人检测
- Cross-scale infrared pedestrian detection based on dynamic feature optimization mechanism
- 光学精密工程 2022年30卷第19期页码：2390-2403
- 作者机构：
  
  西安科技大学电气与控制工程学院，陕西西安 710054
- 作者简介：
  
  [ "郝帅（1986-），男，博士，硕士生导师，主要从事人工智能、智能电网方面的研究工作。E-mail：haoxust@163.com" ]
- 基金信息：
  
  国家自然科学基金资助项目(51804250);中国博士后科学基金资助项目(2019M653874XB;2020M683522);陕西省科技计划项目(2021JQ-572;2020JQ-757);陕西省教育厅科研计划项目(18JK0512;21JK0769);西安市碑林区科技计划项目(GX2116)
- DOI：10.37188/OPE.20223019.2390
  中图分类号： TP391.41;TN219
- 收稿日期：2022-06-17，
  
  修回日期：2022-07-05，
  
  纸质出版日期：2022-10-10
- 稿件说明：
移动端阅览
郝帅,何田,马旭等.动态特征优化机制下的跨尺度红外行人检测[J].光学精密工程,2022,30(19):2390-2403.

HAO Shuai,HE Tian,MA Xu,et al.Cross-scale infrared pedestrian detection based on dynamic feature optimization mechanism[J].Optics and Precision Engineering,2022,30(19):2390-2403.
郝帅,何田,马旭等.动态特征优化机制下的跨尺度红外行人检测[J].光学精密工程,2022,30(19):2390-2403. DOI： 10.37188/OPE.20223019.2390.

HAO Shuai,HE Tian,MA Xu,et al.Cross-scale infrared pedestrian detection based on dynamic feature optimization mechanism[J].Optics and Precision Engineering,2022,30(19):2390-2403. DOI： 10.37188/OPE.20223019.2390.

摘要

针对红外行人图像中待检测目标存在多尺度及部分遮挡导致传统算法难以准确检测的问题，提出一种动态特征优化机制下的跨尺度红外行人检测算法。为解决复杂环境中行人目标特征难以有效表达进而造成目标检测精度低的问题，提出一种动态特征优化机制，通过设计亮度感知模块及EG-Chimp优化模型在增强输入图像局部对比度的同时抑制背景信息；搭建了CSPDarkNet特征提取网络，并在其基础上构建CSFF-BiFPN特征金字塔结构以及跨尺度特征融合模块，以提高检测网络对多尺度及部分遮挡行人目标的检测精度；为进一步精确定位行人目标，引入CIOU损失函数加速网络收敛，从而提升检测性能。选取9种经典检测算法在KAIST数据集上进行对比测试，实验结果表明，本文算法能够对复杂环境中的多尺度及部分遮挡红外行人目标进行准确检测，检测精度可达90.7%，验证了所提出检测网络的优势。

Abstract

Multi-scale and partial occlusions in infrared pedestrian images for target detection make it difficult for traditional algorithms to achieve accurate detection. This study developed a cross-scale infrared pedestrian detection algorithm based on a dynamic feature optimization mechanism. First， to alleviate the limitation that pedestrian target features are difficult to express effectively in complex environments， which results in low target detection accuracy， a dynamic feature optimization mechanism is presented. The luminance perception module and EG-Chimp optimization model are designed to enhance the local contrast of the input image and suppress background information. Second， the CSPdarknet53 structure is utilized as the backbone feature extraction network. Accordingly， a CSFF-BiFPN feature pyramid structure and cross-scale feature fusion module are constructed to improve the detection accuracy of multi-scale and partially occluded pedestrian targets. Finally， the CIOU loss function is introduced to accelerate network convergence rate and improve detection performance to locate pedestrian targets more accurately. To verify the advantages of the proposed detection network， nine classical detection algorithms are selected as baseline methods and tested on KAIST datasets. Experimental results demonstrate that the proposed algorithm can accurately detect multi-scale and partially occluded infrared pedestrian targets in complex environments， with detection accuracies of up to 90.7 %.

关键词

Keywords

references

陈莹，朱宇 . 模态自适应权值学习机制下的多光谱行人检测网络［J］. 光学精密工程， 2020 ， 28 （ 12 ）： 2700 - 2709 . doi: 10.37188/OPE.20202812.2700 http://dx.doi.org/10.37188/OPE.20202812.2700

CHEN Y ， ZHU Y . Multispectral pedestrian detection network under modal adaptive weight learning mechanism ［J］. Optics and Precision Engineering ， 2020 ， 28 （ 12 ）： 2700 - 2709 . （in Chinese） . doi: 10.37188/OPE.20202812.2700 http://dx.doi.org/10.37188/OPE.20202812.2700

杨琦，车进，张良，等 . GAN网络混合编码的行人再识别［J］. 液晶与显示， 2021 ， 36 （ 2 ）： 334 - 342 . doi: 10.37188/CJLCD.2020-0167 http://dx.doi.org/10.37188/CJLCD.2020-0167

YANG Q ， CHE J ， ZHANG L ， et al . Person re-identification of GAN network hybrid coding ［J］. Chinese Journal of Liquid Crystals and Displays ， 2021 ， 36 （ 2 ）： 334 - 342 . （in Chinese） . doi: 10.37188/CJLCD.2020-0167 http://dx.doi.org/10.37188/CJLCD.2020-0167

LI T ， MA Y T ， SHEN H ， et al . FPGA implementation of real-time pedestrian detection using normalization-based validation of adaptive features clustering ［J］. IEEE Transactions on Vehicular Technology ， 2020 ， 69 （ 9 ）： 9330 - 9341 . doi: 10.1109/tvt.2020.2976958 http://dx.doi.org/10.1109/tvt.2020.2976958

KANAZAWA A ， BLACK M J ， JACOBS D W ， et al . End-to-end recovery of human shape and pose ［C］. 2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition . Salt Lake City， UT， USA . IEEE ， 2018 ： 7122 - 7131 . doi: 10.1109/cvpr.2018.00744 http://dx.doi.org/10.1109/cvpr.2018.00744

穆靖，李伟华，饶俊民，等 . 采用三层模板局部差异度量的红外弱小目标检测［J］. 光学精密工程， 2022 ， 30 （ 7 ）： 869 - 882 . doi: 10.37188/OPE.20223007.0869 http://dx.doi.org/10.37188/OPE.20223007.0869

MU J ， LI W H ， RAO J M ， et al . Infrared small target detection using tri-layer template local difference measure ［J］. Optics and Precision Engineering ， 2022 ， 30 （ 7 ）： 869 - 882 . （in Chinese） . doi: 10.37188/OPE.20223007.0869 http://dx.doi.org/10.37188/OPE.20223007.0869

BISWAS S K ， MILANFAR P . Linear support tensor machine with LSK channels： pedestrian detection in thermal infrared images ［J］. IEEE Transactions on Image Processing ， 2017 ， 26 （ 9 ）： 4229 - 4242 . doi: 10.1109/tip.2017.2705426 http://dx.doi.org/10.1109/tip.2017.2705426

REN S Q ， HE K M ， GIRSHICK R ， et al . Faster R-CNN： towards real-time object detection with region proposal networks ［J］. IEEE Transactions on Pattern Analysis and Machine Intelligence ， 2017 ， 39 （ 6 ）： 1137 - 1149 . doi: 10.1109/tpami.2016.2577031 http://dx.doi.org/10.1109/tpami.2016.2577031

刘琼，罗晴，彭绍武 . 车载热成像行人检测RoI提取方法［J］. 东北大学学报（自然科学版）， 2020 ， 41 （ 8 ）： 1083 - 1090 . doi: 10.12068/j.issn.1005-3026.2020.08.004 http://dx.doi.org/10.12068/j.issn.1005-3026.2020.08.004

LIU Q ， LUO Q ， PENG SH W . RoI extraction for vehicular thermal infrared pedestrian detection ［J］. Journal of Northeastern University （Natural Science）， 2020 ， 41 （ 8 ）： 1083 - 1090 . （in Chinese） . doi: 10.12068/j.issn.1005-3026.2020.08.004 http://dx.doi.org/10.12068/j.issn.1005-3026.2020.08.004

CHEN Y Y ， JHONG S Y ， LI G Y ， et al . Thermal-based pedestrian detection using faster R-CNN and region decomposition branch ［C］. 2019 International Symposium on Intelligent Signal Processing and Communication Systems （ISPACS）. Taipei ， China . IEEE ， 2019 ： 1 - 2 . doi: 10.1109/ispacs48206.2019.8986298 http://dx.doi.org/10.1109/ispacs48206.2019.8986298

XU Z W ， VONG C M ， WONG C C ， et al . Ground plane context aggregation network for day-and-night on vehicular pedestrian detection ［J］. IEEE Transactions on Intelligent Transportation Systems ， 2021 ， 22 （ 10 ）： 6395 - 6406 . doi: 10.1109/tits.2020.2991848 http://dx.doi.org/10.1109/tits.2020.2991848

PEI D S ， JING M X ， LIU H P ， et al . A fast RetinaNet fusion framework for multi-spectral pedestrian detection ［J］. Infrared Physics & Technology ， 2020 ， 105 ： 103178 . doi: 10.1016/j.infrared.2019.103178 http://dx.doi.org/10.1016/j.infrared.2019.103178

WANG D ， LAN J H . PPDet： a novel infrared pedestrian detection network in a per-pixel prediction fashion ［J］. Infrared Physics & Technology ， 2021 ， 119 ： 103965 . doi: 10.1016/j.infrared.2021.103965 http://dx.doi.org/10.1016/j.infrared.2021.103965

李经宇，杨静，孔斌，等 . 基于注意力机制的多尺度车辆行人检测算法［J］. 光学精密工程， 2021 ， 29 （ 6 ）： 1448 - 1458 . doi: 10.37188/OPE.20212906.1448 http://dx.doi.org/10.37188/OPE.20212906.1448

LI J Y ， YANG J ， KONG B ， et al . Multi-scale vehicle and pedestrian detection algorithm based on attention mechanism ［J］. Optics and Precision Engineering ， 2021 ， 29 （ 6 ）： 1448 - 1458 . （in Chinese） . doi: 10.37188/OPE.20212906.1448 http://dx.doi.org/10.37188/OPE.20212906.1448

刘怡帆，王旭飞，周鹏，等 . 基于YOLOv4神经网络的红外图像道路行人检测［J］. 数字技术与应用， 2021 ， 39 （ 10 ）： 19 - 22 . doi: 10.19695/j.cnki.cn12-1369.2021.10.07 http://dx.doi.org/10.19695/j.cnki.cn12-1369.2021.10.07

LIU Y F ， WANG X F ， ZHOU P ， et al . Road pedestrian detection based on YOLOv4 neural network in infrared image ［J］. Digital Technology ＆ Application ， 2021 ， 39 （ 10 ）： 19 - 22 . （in Chinese） . doi: 10.19695/j.cnki.cn12-1369.2021.10.07 http://dx.doi.org/10.19695/j.cnki.cn12-1369.2021.10.07

LIU Y ， SU H L ， ZENG C ， et al . A robust thermal infrared vehicle and pedestrian detection method in complex scenes ［J］. Sensors （Basel， Switzerland）， 2021 ， 21 （ 4 ）： 1240 . doi: 10.3390/s21041240 http://dx.doi.org/10.3390/s21041240

ZHENG Z H ， WANG P ， REN D W ， et al . Enhancing geometric factors in model learning and inference for object detection and instance segmentation ［J］. IEEE Transactions on Cybernetics ， 2022 ， 52 （ 8 ）： 8574 - 8586 . doi: 10.1109/tcyb.2021.3095305 http://dx.doi.org/10.1109/tcyb.2021.3095305

贺愉婷，车进，吴金蔓 . 基于YOLOv5和重识别的行人多目标跟踪方法［J］. 液晶与显示， 2022 ， 37 （ 7 ）： 880 - 890 . doi: 10.37188/CJLCD.2022-0025 http://dx.doi.org/10.37188/CJLCD.2022-0025

HE Y T ， CHE J ， WU J M . Pedestrian multi-target tracking method based on YOLOv5 and person re-identification ［J］. Chinese Journal of Liquid Crystals and Displays ， 2022 ， 37 （ 7 ）： 880 - 890 . （in Chinese） . doi: 10.37188/CJLCD.2022-0025 http://dx.doi.org/10.37188/CJLCD.2022-0025

FAN H Y ， MA J S ， FAN H H ， et al . Iterative quadtree decomposition based automatic selection of the seed point for ultrasound breast tumor images ［J］. Multimedia Tools and Applications ， 2017 ， 76 （ 3 ）： 3505 - 3517 . doi: 10.1007/s11042-016-3761-z http://dx.doi.org/10.1007/s11042-016-3761-z

MUN J ， JANG Y ， NAM Y ， et al . Edge-enhancing bi-histogram equalisation using guided image filter ［J］. Journal of Visual Communication and Image Representation ， 2019 ， 58 ： 688 - 700 . doi: 10.1016/j.jvcir.2018.12.037 http://dx.doi.org/10.1016/j.jvcir.2018.12.037

MA J Y ， MA Y ， LI C . Infrared and visible image fusion methods and applications： a survey ［J］. Information Fusion ， 2019 ， 45 ： 153 - 178 . doi: 10.1016/j.inffus.2018.02.004 http://dx.doi.org/10.1016/j.inffus.2018.02.004

EMARY E ， ZAWBAA H M ， GROSAN C . Experienced gray wolf optimization through reinforcement learning and neural networks ［J］. IEEE Transactions on Neural Networks and Learning Systems ， 2018 ， 29 （ 3 ）： 681 - 694 . doi: 10.1109/tnnls.2016.2634548 http://dx.doi.org/10.1109/tnnls.2016.2634548

BASHI-AZGHADI S N ， AFSHAR A ， AFSHAR M H . Multi-period response management to contaminated water distribution networks： dynamic programming versus genetic algorithms ［J］. Engineering Optimization ， 2018 ， 50 （ 3 ）： 415 - 429 . doi: 10.1080/0305215x.2017.1318871 http://dx.doi.org/10.1080/0305215x.2017.1318871

KHISHE M ， MOSAVI M R . Chimp optimization algorithm ［J］. Expert Systems With Applications ， 2020 ， 149 ： 113338 . doi: 10.1016/j.eswa.2020.113338 http://dx.doi.org/10.1016/j.eswa.2020.113338

HWANG S ， PARK J ， KIM N ， et al . Multispectral pedestrian detection： Benchmark dataset and baseline ［C］. 2015 IEEE Conference on Computer Vision and Pattern Recognition . Boston， MA， USA . IEEE ， 2015 ： 1037 - 1045 . doi: 10.1109/cvpr.2015.7298706 http://dx.doi.org/10.1109/cvpr.2015.7298706

王灿芳，崔良玉，阎兵 . 基于Variance-Brenner函数的显微图像清晰度评价算法研究［J］. 装备制造技术， 2020 （ 10 ）： 78 - 82 . doi: 10.3969/j.issn.1672-545X.2020.10.020 http://dx.doi.org/10.3969/j.issn.1672-545X.2020.10.020

WANG C F ， CUI L Y ， YAN B . Study on the microscopic image sharpness evaluation algorithm based on variance-Brenner function ［J］. Equipment Manufacturing Technology ， 2020 （ 10 ）： 78 - 82 . （in Chinese） . doi: 10.3969/j.issn.1672-545X.2020.10.020 http://dx.doi.org/10.3969/j.issn.1672-545X.2020.10.020

孙红利，冯旗，董峰 . 图像清晰度评价算法研究［J］. 传感器与微系统， 2017 ， 36 （ 2 ）： 67 - 70 . doi: 10.13873/J.1000-9787(2017)02-0067-04 http://dx.doi.org/10.13873/J.1000-9787(2017)02-0067-04

SUN H L ， FENG Q ， DONG F . Research on algorithm for image clarity evaluation ［J］. Transducer and Microsystem Technologies ， 2017 ， 36 （ 2 ）： 67 - 70 . （in Chinese） . doi: 10.13873/J.1000-9787(2017)02-0067-04 http://dx.doi.org/10.13873/J.1000-9787(2017)02-0067-04

LIU W ， ANGUELOV D ， ERHAN D ， et al . SSD ： Single Shot MultiBox Detector ［M］. Computer Vision - ECCV 2016 . Cham ： Springer International Publishing ， 2016 ： 21 - 37 . doi: 10.1007/978-3-319-46448-0_2 http://dx.doi.org/10.1007/978-3-319-46448-0_2

LIN T Y ， GOYAL P ， GIRSHICK R ， et al . Focal loss for dense object detection ［C］. 2017 IEEE International Conference on Computer Vision . Venice， Italy . IEEE ， 2017 ： 2999 - 3007 . doi: 10.1109/iccv.2017.324 http://dx.doi.org/10.1109/iccv.2017.324

SUN P Z ， ZHANG R F ， JIANG Y ， et al . Sparse R-CNN： end-to-end object detection with learnable proposals ［C］. 2021 IEEE/CVF Conference on Computer Vision and Pattern Recognition （CVPR）. Nashville ， TN ， USA . IEEE ， 2021 ： 14449 - 14458 . doi: 10.1109/cvpr46437.2021.01422 http://dx.doi.org/10.1109/cvpr46437.2021.01422

ZHANG H Y ， WANG Y ， DAYOUB F ， et al . VarifocalNet： an IoU-aware dense object detector ［C］. 2021 IEEE/CVF Conference on Computer Vision and Pattern Recognition （CVPR）. Nashville ， TN ， USA . IEEE ， 2021 ： 8510 - 8519 . doi: 10.1109/cvpr46437.2021.00841 http://dx.doi.org/10.1109/cvpr46437.2021.00841

FENG C J ， ZHONG Y J ， GAO Y ， et al . TOOD： task-aligned one-stage object detection ［C］. 2021 IEEE/CVF International Conference on Computer Vision （ICCV）. Montreal ， QC， Canada . IEEE ， 2021 ： 3490 - 3499 . doi: 10.1109/iccv48922.2021.00349 http://dx.doi.org/10.1109/iccv48922.2021.00349

SUN M Y ， ZHANG H C ， HUANG Z L ， et al . Road infrared target detection with I‐YOLO ［J］. IET Image Processing ， 2022 ， 16 （ 1 ）： 92 - 101 . doi: 10.1049/ipr2.12331 http://dx.doi.org/10.1049/ipr2.12331

Kieu M ， Bagdanov A D ， Bertini M ， et al . Task-conditioned domain adaptation for pedestrian detection in thermal imagery ［C］. European conference on computer vision. Springer， Cham ： ECCV ， 2020 ： 546 - 562 . doi: 10.1007/978-3-030-58542-6_33 http://dx.doi.org/10.1007/978-3-030-58542-6_33

浏览量

1543

下载量

CSCD

文章被引用时，请邮件提醒。

提交

工具集

关联资源

强化边缘特征提取的双分支融合真实图像去雾

基于混合时空卷积的轻量级视频超分辨率重建

联合自注意力和分支采样的无人机图像目标检测

多维注意力机制与选择性特征融合的图像超分辨率重建

融合分形几何特征Resnet遥感图像建筑物分割