针对目标遮挡的自适应特征匹配网络

毛琳; 苏宏阳; 杨大伟

doi:10.37188/OPE.20233122.3345

您当前的位置：

首页 >

文章列表页 >

针对目标遮挡的自适应特征匹配网络

信息科学 | 更新时间：2023-11-28

- 针对目标遮挡的自适应特征匹配网络
- Adaptive feature matching network for object occlusion
- 光学精密工程 2023年31卷第22期页码：3345-3356
- 作者机构：
  
  1.大连民族大学机电工程学院，辽宁大连 116600
- 作者简介：
  
  [ "毛琳（1977-），女，山东省荣成人，博士，副教授，硕士生导师，2005年于黑龙江大学获得硕士学位，2011年于哈尔滨工程大学获得博士学位，主要从事机器视觉目标跟踪与多传感器信息融合的研究。E-mail：maolin@dlnu.edu.cn" ]
  [ "苏宏阳（2000-），男，内蒙古兴安盟人，硕士研究生，2021年于大连民族大学获得学士学位，主要从事计算机视觉和目标跟踪研究。E-mail：wxhxhwdn0725@163.com" ]
- 基金信息：
  
  国家自然科学基金资助项目(61673084);辽宁省自然科学基金资助项目(20170540192;20180550866;2020-MZLH-24)
- DOI：10.37188/OPE.20233122.3345
  中图分类号：
扫描看全文
毛琳,苏宏阳,杨大伟.针对目标遮挡的自适应特征匹配网络[J].光学精密工程,2023,31(22):3345-3356.

MAO Lin,SU Hongyang,YANG Dawei.Adaptive feature matching network for object occlusion[J].Optics and Precision Engineering,2023,31(22):3345-3356.
毛琳,苏宏阳,杨大伟.针对目标遮挡的自适应特征匹配网络[J].光学精密工程,2023,31(22):3345-3356. DOI： 10.37188/OPE.20233122.3345.

MAO Lin,SU Hongyang,YANG Dawei.Adaptive feature matching network for object occlusion[J].Optics and Precision Engineering,2023,31(22):3345-3356. DOI： 10.37188/OPE.20233122.3345.

摘要

针对目标跟踪中常见的目标遮挡问题，提出一种自适应特征匹配网络。该网络通过计算查询帧与记忆帧像素级相似度，将目标和背景相似度关系进行编码，获得像素级相似度矩阵，并通过将查询帧与记忆帧分头的方式，实现多维度相似性计算，以关注查询帧中更多区域，并通过计算的相似度矩阵，对记忆帧进行自适应特征加权，以此来提高目标跟踪的精度和鲁棒性。此外，特征记忆网络可以对记忆帧进行挑选和保存，为特征匹配提供额外表观信息，使网络隐性学习目标运动趋势，进而实现更好的跟踪结果。实验结果表明，该方法在GOT-10k，LaSOT等数据集上表现良好，在GOT-10k数据集上，本文所提出的算法与STMTrack算法相比，, $A O$ ,https://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=50591471&type=,https://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=50591470&type=,4.91066647,2.37066650,值提升1.8%。根据可视化结果显示，本文算法在目标遮挡、消失等挑战中，具有更强的鲁棒性。

Abstract

An adaptive feature-matching network is proposed to solve the common problem of object occlusion in object tracking. By calculating the pixel-level similarity between the query and memory frames， the network encodes the similarity relationship between an object and its background and obtains a pixel-level similarity matrix. By separating the query and memory frames， the network calculates the multi-dimensional similarity to focus on more areas in the query frame and adaptively weighs the memory frame through the calculated similarity matrix to improve the accuracy and robustness of object tracking. Additionally， the feature memory network selects and saves the memory frames， provides additional apparent information for feature matching， and allows the network to implicitly learn the moving trend of an object to achieve better tracking results. Experimental results show that this method performs well on GOT-10k， LaSOT， and other datasets. On GOT-10k datasets， compared with the STMTrack algorithm， the value of the proposed algorithm is improved by 1.8%. The visualization results show that the proposed algorithm is more robust in meeting the challenges of object occlusion and disappearance.

关键词

目标遮挡自适应特征匹配记忆网络

Keywords

object occlusionself-adaptionfeature matchingmemory network

references

DANELLJAN M， BHAT G， KHAN F S， et al. ATOM： accurate tracking by overlap maximization［C］. 2019 IEEE/CVF Conference on Computer Vision and Pattern Recognition （CVPR）.15-20， 2019， Long Beach， CA， USA. IEEE， 2020： 4655-4664. doi: 10.1109/cvpr.2019.00479http://dx.doi.org/10.1109/cvpr.2019.00479

DANELLJAN M， VAN GOOL L， TIMOFTE R. Probabilistic regression for visual tracking［C］. 2020 IEEE/CVF Conference on Computer Vision and Pattern Recognition （CVPR）.13-19， 2020， Seattle， WA， USA. IEEE， 2020： 7181-7190. doi: 10.1109/cvpr42600.2020.00721http://dx.doi.org/10.1109/cvpr42600.2020.00721

LI B， YAN J J， WU W， et al. High performance visual tracking with siamese region proposal network［C］. 2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition.18-23， 2018， Salt Lake City， UT， USA. IEEE， 2018： 8971-8980. doi: 10.1109/cvpr.2018.00935http://dx.doi.org/10.1109/cvpr.2018.00935

FAN H， LING H B. Siamese cascaded region proposal networks for Real-Time visual tracking［C］. 2019 IEEE/CVF Conference on Computer Vision and Pattern Recognition （CVPR）.15-20， 2019， Long Beach， CA， USA. IEEE， 2020： 7944-7953. doi: 10.1109/cvpr.2019.00814http://dx.doi.org/10.1109/cvpr.2019.00814

LI B， WU W， WANG Q， et al. SiamRPN： evolution of siamese visual tracking with very deep networks［C］. 2019 IEEE/CVF Conference on Computer Vision and Pattern Recognition （CVPR）.15-20， 2019， Long Beach， CA， USA. IEEE， 2020： 4277-4286. doi: 10.1109/cvpr.2019.00441http://dx.doi.org/10.1109/cvpr.2019.00441

WANG Q， ZHANG L， BERTINETTO L， et al. Fast online object tracking and segmentation： a unifying approach［C］. 2019 IEEE/CVF Conference on Computer Vision and Pattern Recognition （CVPR）.15-20， 2019， Long Beach， CA， USA. IEEE， 2020： 1328-1338. doi: 10.1109/cvpr.2019.00142http://dx.doi.org/10.1109/cvpr.2019.00142

LUKEŽIČ A， MATAS J， KRISTAN M. D3S-A discriminative single shot segmentation tracker［C］. 2020 IEEE/CVF Conference on Computer Vision and Pattern Recognition （CVPR）.13-19， 2020， Seattle， WA， USA. IEEE， 2020： 7131-7140. doi: 10.1109/cvpr42600.2020.00716http://dx.doi.org/10.1109/cvpr42600.2020.00716

XIE F， WANG C Y， WANG G T， et al. Correlation-Aware deep tracking［C］. 2022 IEEE/CVF Conference on Computer Vision and Pattern Recognition （CVPR）.18-24， 2022， New Orleans， LA， USA. IEEE， 2022： 8741-8750. doi: 10.1109/cvpr52688.2022.00855http://dx.doi.org/10.1109/cvpr52688.2022.00855

CUI Y T， JIANG C， WANG L M， et al. MixFormer： End-To-End tracking with iterative mixed attention［C］. 2022 IEEE/CVF Conference on Computer Vision and Pattern Recognition （CVPR）.18-24， 2022， New Orleans， LA， USA. IEEE， 2022： 13598-13608. doi: 10.1109/cvpr52688.2022.01324http://dx.doi.org/10.1109/cvpr52688.2022.01324

OH S W， LEE J Y， XU N， et al. Video object segmentation using Space-Time memory networks［C］. 2019 IEEE/CVF International Conference on Computer Vision （ICCV）. October 27 - November 2， 2019， Seoul， Korea （South）. IEEE， 2020： 9225-9234. doi: 10.1109/iccv.2019.00932http://dx.doi.org/10.1109/iccv.2019.00932

XIE H Z， YAO H X， ZHOU S C， et al. Efficient regional memory network for video object segmentation［C］. 2021 IEEE/CVF Conference on Computer Vision and Pattern Recognition （CVPR）.20-25， 2021， Nashville， TN， USA. IEEE， 2021： 1286-1295. doi: 10.1109/cvpr46437.2021.00134http://dx.doi.org/10.1109/cvpr46437.2021.00134

PAUL M， DANELLJAN M， VAN GOOL L， et al. Local memory attention for fast video semantic segmentation［C］. 2021 IEEE/RSJ International Conference on Intelligent Robots and Systems （IROS）.27-1，2021， Prague， Czech Republic. IEEE， 2021： 1102-1109. doi: 10.1109/iros51168.2021.9636192http://dx.doi.org/10.1109/iros51168.2021.9636192

WANG H， WANG W N， LIU J. Temporal memory attention for video semantic segmentation［C］. 2021 IEEE International Conference on Image Processing （ICIP）. 19-22， 2021， Anchorage， AK， USA. IEEE， 2021： 2254-2258. doi: 10.1109/icip42928.2021.9506731http://dx.doi.org/10.1109/icip42928.2021.9506731

FU Z H， LIU Q J， FU Z H， et al. STMTrack： Template-Free visual tracking with Space-Time memory networks［C］. 2021 IEEE/CVF Conference on Computer Vision and Pattern Recognition （CVPR）.20-25， 2021， Nashville， TN， USA. IEEE， 2021： 13769-13778. doi: 10.1109/cvpr46437.2021.01356http://dx.doi.org/10.1109/cvpr46437.2021.01356

XU Y D， WANG Z Y， LI Z X， et al. SiamFC++： towards robust and accurate visual tracking with target estimation guidelines［J］. Proceedings of the AAAI Conference on Artificial Intelligence， 2020， 34（7）： 12549-12556. doi: 10.1609/aaai.v34i07.6944http://dx.doi.org/10.1609/aaai.v34i07.6944

MAYER C， DANELLJAN M， BHAT G， et al. Transforming model prediction for tracking［C］. 2022 IEEE/CVF Conference on Computer Vision and Pattern Recognition （CVPR）.18-24， 2022， New Orleans， LA， USA. IEEE， 2022： 8721-8730. doi: 10.1109/cvpr52688.2022.00853http://dx.doi.org/10.1109/cvpr52688.2022.00853

ZHOU Z K， PEI W J， LI X， et al. Saliency-Associated object tracking［C］. 2021 IEEE/CVF International Conference on Computer Vision （ICCV）.10-17， 2021， Montreal， QC， Canada. IEEE， 2022： 9846-9855. doi: 10.1109/iccv48922.2021.00972http://dx.doi.org/10.1109/iccv48922.2021.00972

BHAT G， DANELLJAN M， VAN GOOL L， et al. Know Your Surroundings： Exploiting Scene Information for object Tracking［M］. Computer Vision - ECCV 2020. Cham： Springer International Publishing， 2020： 205-221. doi: 10.1007/978-3-030-58592-1_13http://dx.doi.org/10.1007/978-3-030-58592-1_13

YU Y C， XIONG Y L， HUANG W L， et al. Deformable siamese attention networks for visual object tracking［C］. 2020 IEEE/CVF Conference on Computer Vision and Pattern Recognition （CVPR）.13-19， 2020， Seattle， WA， USA. IEEE， 2020： 6727-6736. doi: 10.1109/cvpr42600.2020.00676http://dx.doi.org/10.1109/cvpr42600.2020.00676

ZHANG Z P， PENG H W， FU J L， et al. Ocean： Object-Aware Anchor-Free Tracking［M］. Computer Vision - ECCV 2020. Cham： Springer International Publishing， 2020： 771-787. doi: 10.1007/978-3-030-58589-1_46http://dx.doi.org/10.1007/978-3-030-58589-1_46

BHAT G， JOHNANDER J， DANELLJAN M， et al. Unveiling the Power of Deep Tracking［M］. Computer Vision-ECCV 2018. Cham： Springer International Publishing， 2018： 493-509. doi: 10.1007/978-3-030-01216-8_30http://dx.doi.org/10.1007/978-3-030-01216-8_30

CHEN Z D， ZHONG B N， LI G R， et al. SiamBAN： target-aware tracking with Siamese box adaptive network［J］. IEEE Transactions on Pattern Analysis and Machine Intelligence， 2022： 1-17. doi: 10.1109/tpami.2022.3195759http://dx.doi.org/10.1109/tpami.2022.3195759

WANG N， ZHOU W G， WANG J， et al. Transformer meets tracker： exploiting temporal context for robust visual tracking［C］. 2021 IEEE/CVF Conference on Computer Vision and Pattern Recognition （CVPR）.20-25， 2021， Nashville， TN， USA. IEEE， 2021： 1571-1580. doi: 10.1109/cvpr46437.2021.00162http://dx.doi.org/10.1109/cvpr46437.2021.00162

BHAT G， DANELLJAN M， VAN GOOL L， et al. Learning discriminative model prediction for tracking［C］. 2019 IEEE/CVF International Conference on Computer Vision （ICCV）. October 27 - November 2， 2019， Seoul， Korea （South）. IEEE， 2020： 6181-6190. doi: 10.1109/iccv.2019.00628http://dx.doi.org/10.1109/iccv.2019.00628

VOIGTLAENDER P， LUITEN J， TORR P H S， et al. Siam R-CNN： visual tracking by re-detection［C］. 2020 IEEE/CVF Conference on Computer Vision and Pattern Recognition （CVPR）.13-19， 2020， Seattle， WA， USA. IEEE， 2020： 6577-6587. doi: 10.1109/cvpr42600.2020.00661http://dx.doi.org/10.1109/cvpr42600.2020.00661

YAN B， PENG H W， FU J L， et al. Learning Spatio-Temporal transformer for visual tracking［C］. 2021 IEEE/CVF International Conference on Computer Vision （ICCV）. 10-17， 2021， Montreal， QC， Canada. IEEE， 2022： 10428-10437. doi: 10.1109/iccv48922.2021.01028http://dx.doi.org/10.1109/iccv48922.2021.01028

ZHANG Z P， LIU Y H， WANG X， et al. Learn to Match： automatic matching network design for visual tracking［C］. 2021 IEEE/CVF International Conference on Computer Vision （ICCV）.10-17， 2021， Montreal， QC， Canada. IEEE， 2022： 13319-13328. doi: 10.1109/iccv48922.2021.01309http://dx.doi.org/10.1109/iccv48922.2021.01309

浏览量

下载量

CSCD

文章被引用时，请邮件提醒。

提交

工具集

关联资源

基于自适应惯导辅助特征匹配的视觉SLAM算法

融合二维图像和三维点云的相机位姿估计

自适应双刃边法模糊红外图像复原

采用轮廓特征匹配的红外-可见光视频自动配准

基于ORB与RANSAC融合改进的图像拼接方法