融合二维图像和三维点云的相机位姿估计

周佳乐; 朱兵; 吴芝路

doi:10.37188/OPE.20223022.2901

您当前的位置：

首页 >

文章列表页 >

融合二维图像和三维点云的相机位姿估计

信息科学 | 更新时间：2022-11-24

- 融合二维图像和三维点云的相机位姿估计
- Camera pose estimation based on 2D image and 3D point cloud fusion
- 光学精密工程 2022年30卷第22期页码：2901-2912
- 作者机构：
  
  哈尔滨工业大学电子与信息工程学院，黑龙江哈尔滨 150001
- 作者简介：
  
  [ "周佳乐（1998-），男，贵州毕节人，硕士研究生，2020年于哈尔滨工业大学获得学士学位，主要从事视觉定位导航等方面的研究。E-mail：zhoujiale0812@163.com" ]
  [ "朱兵（1976-），男，江苏南京人，副研究员，博士，2006年于哈尔滨工业大学取得博士学位，专注于图像处理理论及计算机视觉研究。E-mail： zhubing@hit.edu.cn" ]
- 基金信息：
  
  预研领域基金资助项目(61404150202)
- DOI：10.37188/OPE.20223022.2901
  中图分类号： TP394.1;TH691.9
- 收稿日期：2022-03-21，
  
  修回日期：2022-04-07，
  
  纸质出版日期：2022-11-25
- 稿件说明：
移动端阅览
周佳乐,朱兵,吴芝路.融合二维图像和三维点云的相机位姿估计[J].光学精密工程,2022,30(22):2901-2912.

ZHOU Jia-le,ZHU Bing,WU Zhi-lu.Camera pose estimation based on 2D image and 3D point cloud fusion[J].Optics and Precision Engineering,2022,30(22):2901-2912.
周佳乐,朱兵,吴芝路.融合二维图像和三维点云的相机位姿估计[J].光学精密工程,2022,30(22):2901-2912. DOI： 10.37188/OPE.20223022.2901.

ZHOU Jia-le,ZHU Bing,WU Zhi-lu.Camera pose estimation based on 2D image and 3D point cloud fusion[J].Optics and Precision Engineering,2022,30(22):2901-2912. DOI： 10.37188/OPE.20223022.2901.

摘要

为了准确地在特定三维真实环境中，通过单目相机获取的RGB图像来估计相机的六自由度位姿，本文结合已知的二维图像及三维点云信息，提出了基于稠密场景回归的多阶段相机位姿估计方法。首先，将深度图像信息与传统运动结构恢复（Structure From Motion， SFM）算法相结合，构建单目相机位姿估计数据集；其次，本文首次将深度图像检索引入2D-3D匹配点的构建当中，通过所提的位姿优化函数对位姿解算加以优化，提出多阶段相机位姿估计方法；最后为提升位姿估计的性能，将ResNet网络结构用于图像的稠密场景坐标回归，使得所提方法的位姿估计精度大幅度提升。实验结果表明：对于给定的位姿误差阈值5 cm/5°，在公开数据集7scenes下的位姿估计准确率均值为82.7%，在自建数据集下的准确率为94.8%。与现有的其他相机位姿估计算法相比，本文所提方法不论在自建数据集还是公开数据集下的位姿估计精度均有提升。

Abstract

This paper presents an estimation algorithm for the six degree-of-freedom camera pose obtained from a single RGB image in a specific environment using a combination of the known image and point cloud information. Specifically， we propose a multi-stage camera pose estimation algorithm based on dense scene regression. First， the camera pose estimation dataset is composed by combining the depth image information and Structure from Motion （SFM） algorithm. Then， for the first time， we introduce depth image retrieval into the construction of two- and three-dimensional （2D-3D） matching points. Using the proposed pose optimization function， a multi-stage camera pose estimation method is proposed. The ResNet network considerably improves the pose estimation accuracy. Experimental results indicate that the pose estimation accuracy is 82.7% on average in the open dataset 7 scenes， and 94.8% in our own dataset （estimated poses falling within the threshold of 5 cm/5°）. Compared with other camera pose estimation methods， our method has better pose estimation accuracy for both our and public datasets.

关键词

Keywords

references

SVÄRM L ， ENQVIST O ， OSKARSSON M ， et al . Accurate localization and pose estimation for large 3D models ［C］. 2014 IEEE Conference on Computer Vision and Pattern Recognition. Columbus ， OH ， USA . IEEE ， 2014 ： 532 - 539 . doi: 10.1109/cvpr.2014.75 http://dx.doi.org/10.1109/cvpr.2014.75

LIU L ， LI H D ， DAI Y C . Efficient global 2D-3D matching for camera localization in a large-scale 3D map ［C］. 2017 IEEE International Conference on Computer Vision . Venice， Italy . IEEE ， 2017 ： 2391 - 2400 . doi: 10.1109/iccv.2017.260 http://dx.doi.org/10.1109/iccv.2017.260

VAKHITOV A ， COLOMINA L F ， AGUDO A ， et al . Uncertainty-aware camera pose estimation from points and lines ［C］. 2021 IEEE/CVF Conference on Computer Vision and Pattern Recognition （CVPR）. Nashville ， TN ， USA . IEEE ， 2021 ： 4657 - 4666 . doi: 10.1109/cvpr46437.2021.00463 http://dx.doi.org/10.1109/cvpr46437.2021.00463

YU L ， FU X F ， XU H N ， et al . High-precision camera pose estimation and optimization in a large-scene 3D reconstruction system ［J］. Measurement Science and Technology ， 2020 ， 31 （ 8 ）： 085401 . doi: 10.1088/1361-6501/ab816c http://dx.doi.org/10.1088/1361-6501/ab816c

KENDALL A ， GRIMES M ， CIPOLLA R . PoseNet： a convolutional network for real-time 6-DOF camera relocalization ［C］. 2015 IEEE International Conference on Computer Vision . Santiago， Chile . IEEE ， 2015 ： 2938 - 2946 . doi: 10.1109/iccv.2015.336 http://dx.doi.org/10.1109/iccv.2015.336

SATTLER T ， ZHOU Q J ， POLLEFEYS M ， et al . Understanding the limitations of CNN-based absolute camera pose regression ［C］. 2019 IEEE/CVF Conference on Computer Vision and Pattern Recognition （CVPR）. Long Beach ， CA， USA . IEEE ， 2019 ： 3297 - 3307 . doi: 10.1109/cvpr.2019.00342 http://dx.doi.org/10.1109/cvpr.2019.00342

CHEN Z T ， JACOBSON A ， SÜNDERHAUF N ， et al . Deep learning features at scale for visual place recognition ［C］. 2017 IEEE International Conference on Robotics and Automation . Singapore . IEEE ， 2017 ： 3223 - 3230 .

LI Q ， ZHU J S ， CAO R ， et al . Relative geometry-aware Siamese neural network for 6DOF camera relocalization ［J］. Neurocomputing ， 2021 ， 426 ： 134 - 146 . doi: 10.1016/j.neucom.2020.09.071 http://dx.doi.org/10.1016/j.neucom.2020.09.071

TANG S T ， TANG C Z ， HUANG R ， et al . Learning camera localization via dense scene matching ［C］. 2021 IEEE/CVF Conference on Computer Vision and Pattern Recognition （CVPR）. Nashville ， TN ， USA . IEEE ， 2021 ： 1831 - 1841 .

刘东生，陈建林，费点，等 . 基于深度相机的大场景三维重建［J］. 光学精密工程， 2020 ， 28 （ 1 ）： 234 - 243 . doi: 10.3788/ope.20202801.0234 http://dx.doi.org/10.3788/ope.20202801.0234

LIU D SH ， CHEN J L ， FEI D ， et al . Three-dimensional reconstruction of large-scale scene based on depth camera ［J］. Opt. Precision Eng. ， 2020 ， 28 （ 1 ）： 234 - 243 . （in Chinese） . doi: 10.3788/ope.20202801.0234 http://dx.doi.org/10.3788/ope.20202801.0234

RUBLEE E ， RABAUD V ， KONOLIGE K ， et al . ORB： an efficient alternative to SIFT or SURF ［C］. 2011 International Conference on Computer Vision . Barcelona， Spain . IEEE ， 2011 ： 2564 - 2571 . doi: 10.1109/iccv.2011.6126544 http://dx.doi.org/10.1109/iccv.2011.6126544

BRACHMANN E ， KRULL A ， NOWOZIN S ， et al . DSAC-differentiable RANSAC for camera localization ［C］. 2017 IEEE Conference on Computer Vision and Pattern Recognition . Honolulu， HI， USA . IEEE ， 2017 ： 2492 - 2500 . doi: 10.1109/cvpr.2017.267 http://dx.doi.org/10.1109/cvpr.2017.267

DONG S Y ， FAN Q N ， WANG H ， et al . Robust neural routing through space partitions for camera relocalization in dynamic indoor environments ［C］. 2021 IEEE/CVF Conference on Computer Vision and Pattern Recognition （CVPR）. Nashville ， TN ， USA . IEEE ， 2021 ： 8540 - 8550 .

SHOTTON J ， GLOCKER B ， ZACH C ， et al . Scene coordinate regression forests for camera relocalization in RGB-D images ［C］. 2013 IEEE Conference on Computer Vision and Pattern Recognition ， 2013 ： 2930 - 2937 .

BRACHMANN E ， ROTHER C . Learning less is more-6D camera localization via 3D surface regression ［C］. 2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition . Salt Lake City， UT， USA . IEEE ， 2018 ： 4654 - 4662 . doi: 10.1109/cvpr.2018.00489 http://dx.doi.org/10.1109/cvpr.2018.00489

SARLIN P E ， UNAGAR A ， LARSSON M ， et al . Back to the feature： learning robust camera localization from pixels to pose ［C］. 2021 IEEE/CVF Conference on Computer Vision and Pattern Recognition （CVPR）. Nashville ， TN ， USA . IEEE ， 2021 ： 3246 - 3256 . doi: 10.1109/cvpr46437.2021.00326 http://dx.doi.org/10.1109/cvpr46437.2021.00326

许凌志，符钦伟，陶卫，等 . 基于三维模型的单目车辆位姿估计［J］. 光学精密工程， 2021 ， 29 （ 6 ）： 1346 - 1355 . doi: 10.37188/OPE.20212906.1346 http://dx.doi.org/10.37188/OPE.20212906.1346

XU L ZH ， FU Q W ， TAO W ， et al . Monocular vehicle pose estimation based on 3D model ［J］. Opt. Precision Eng. ， 2021 ， 29 （ 6 ）： 1346 - 1355 . （in Chinese） . doi: 10.37188/OPE.20212906.1346 http://dx.doi.org/10.37188/OPE.20212906.1346

陈仁文，袁婷婷，黄文斌，等 . 卷积神经网络在驾驶员姿态估计上的应用［J］. 光学精密工程， 2021 ， 29 （ 4 ）： 813 - 821 . doi: 10.37188/OPE.20212904.0813 http://dx.doi.org/10.37188/OPE.20212904.0813

CHEN R W ， YUAN T T ， HUANG W B ， et al . Driver pose estimation using convolutional neural networks ［J］. Opt. Precision Eng. ， 2021 ， 29 （ 4 ）： 813 - 821 . （in Chinese） . doi: 10.37188/OPE.20212904.0813 http://dx.doi.org/10.37188/OPE.20212904.0813

LI X T ， WANG S Z ， ZHAO Y ， et al . Hierarchical scene coordinate classification and regression for visual localization ［C］. 2020 IEEE/CVF Conference on Computer Vision and Pattern Recognition （CVPR）. Seattle ， WA ， USA . IEEE ， 2020 ： 11980 - 11989 .

YANG L W ， BAI Z Q ， TANG C Z ， et al . SANet： scene agnostic network for camera localization ［C］. 2019 IEEE/CVF International Conference on Computer Vision （ICCV）. Seoul ， Korea （South） . IEEE ， 2019 ： 42 - 51 .

浏览量

1629

下载量

CSCD

文章被引用时，请邮件提醒。

提交

工具集

关联资源

弱纹理环境下融合点线特征的双目视觉同步定位与建图

针对目标遮挡的自适应特征匹配网络

基于自适应惯导辅助特征匹配的视觉SLAM算法

采用轮廓特征匹配的红外-可见光视频自动配准

基于ORB与RANSAC融合改进的图像拼接方法