COLMAP简易教程(命令行模式) | 红城客栈蓝精灵

完整的 multi view stereo pipeline 会有以下步骤

structure from motion(SfM)==> camera parameters, sparse point cloud
multi view stereo(MVS)==>depth map, dense point cloud
surface reconstruction(SR)==>poisson or delauny reconstruction, mesh
texture mapping(TM)==>get mesh with texture

COLMAP整体流程如下图所示

COLMAP简易教程(命令行模式)-LMLPHP

COLMAP重建过程主要步骤

COLMAP 兼容好几种不同的相机模型，我们在使用时可以对相机模型进行限制以获得最好的效果。

如果提前不知道相机内参，最好使用包含畸变系数的模型，默认为 SIMPLE_RAIDIAL 。

如果已知相机没有畸变或畸变影响很小，建议使用 SIMPLE_PINHOLE 模型。

可供选择的模型分别为

SIMPLE_PINHOLE, PINHOLE, SIMPLE_RADIAL, RADIAL, OPENCV, FULL_OPENCV,

SIMPLE_RADIAL_FISHEYE, RADIAL_FISHEYE, OPENCV_FISHEYE, FOV, THIN_PRISM_FISHEYE

不同模型含义及参数如下表所示，详见 Camera Models

COLMAP简易教程(命令行模式)-LMLPHP

Camera Models

Pinhole_camera_model

camera_calibration_and_3d_reconstruction

Structure from Motion

运动恢复结构流程如下图所示
COLMAP简易教程(命令行模式)-LMLPHP

运动恢复结构主要步骤

运动恢复结构的目的是求解相机参数，需要把所有输入图片放到一个文件夹下。按如下步骤依次进行。

图像特征提取

相机内参已知的情况下我们可以直接通过命令行参数 ImageReader.camera_params 传给 COLMAP。

a. 相机内参已知

$ colmap feature_extractor \
    --database_path ./database.db \
    --image_path images \
    --ImageReader.camera_model SIMPLE_PINHOLE \
    --ImageReader.camera_params "1813.3334,1920,1080" \
    --SiftExtraction.max_image_size 3840

其中 camera_params 为 std::string 类型，不同的模型有对应的表示方式。参数及含义参考上面表格中的各种相机模型。

b. 相机内参未知

$ colmap feature_extractor \
    --database_path ./database.db \
    --image_path images \
    --ImageReader.camera_model SIMPLE_PINHOLE \
    --SiftExtraction.max_image_size 3840

其中 database_path 设置工程数据文件的保存路径

image_path 设置输入图像所在文件夹路径

camera_model 设置相机模型

max_image_size 设置为大于图像最大边所对应的分辨率的值

图像特征匹配

$ colmap exhaustive_matcher --database_path $DATASET_PATH/database.db

其中 database_path 设置为特征点检测时工程数据文件保存的路径。

相机位姿求解与优化

$ mkdir $DATASET_PATH/sparse

$ colmap mapper \
    --database_path $DATASET_PATH/database.db \
    --image_path $DATASET_PATH/images \
    --output_path $DATASET_PATH/sparse \
    --Mapper.ba_refine_principal_point true

模型转换与参数读取

在进行稀疏重建之后，model 默认会被导出到 bin 文件中，因为这样比较紧凑，节省空间，可以使用 COLMAP 的模型转换功能将其转换成 txt 文件。

注意下面的指令中 input_path 和 output_path 是文件所在文件夹的路径，而不是单个文件路径。

$ colmap model_converter \
    --input_path $DATASET_PATH/sparse/0 \
    --output_path $DATASET_PATH/sparse \
    --output_type TXT

a. 相机内参 cameras.txt 格式如下

# Camera list with one line of data per camera:
#  CAMERA_ID, MODEL, WIDTH, HEIGHT, PARAMS[]
# Number of cameras: 3
1 SIMPLE_PINHOLE 3072 2304 2559.81 1536 1152
2 PINHOLE 3072 2304 2560.56 2560.56 1536 1152
3 SIMPLE_RADIAL 3072 2304 2559.69 1536 1152 -0.0218531

b. 相机外参，包含旋转和平移，以及每张图片中特征点在图像中的二维坐标及其对应的三维稀疏点索引images.txt 格式如下，注意这里的旋转保存为单位四元数形式，与 Eigen::Quaterniond 格式相同

# Image list with two lines of data per image:
#  IMAGE_ID, QW, QX, QY, QZ, TX, TY, TZ, CAMERA_ID, NAME
#  POINTS2D[] as (X, Y, POINT3D_ID)
# Number of images: 2, mean observations per image: 2
1 0.851773 0.0165051 0.503764 -0.142941 -0.737434 1.02973 3.74354 1 P1180141.JPG
2362.39 248.498 58396 1784.7 268.254 59027 1784.7 268.254 -1
2 0.851773 0.0165051 0.503764 -0.142941 -0.737434 1.02973 3.74354 1 P1180142.JPG
1190.83 663.957 23056 1258.77 640.354 59070

c. 稀疏三维点云中三维空间点的信息 points3D.txt 格式如下

# 3D point list with one line of data per point:
#  POINT3D_ID, X, Y, Z, R, G, B, ERROR, TRACK[] as (IMAGE_ID, POINT2D_IDX)
# Number of points: 3, mean track length: 3.3334
63390 1.67241 0.292931 0.609726 115 121 122 1.33927 16 6542 15 7345 6 6714 14 7227
63376 2.01848 0.108877 -0.0260841 102 209 250 1.73449 16 6519 15 7322 14 7212 8 3991
63371 1.71102 0.28566 0.53475 245 251 249 0.612829 118 4140 117 4473

如果需要进一步 rectify, 可以把参数输入到 OpenCV 的 stereoRectify() 函数中，之后 initUndistortRectifyMap() , 最后使用 remap() 函数进行重映射从而得到矫正的结果。

Dense Reconstruction

利用前面的步骤求得的相机参数进行稠密重建，由 PatchMatch 求解单视角对应的深度图和法向图，同时根据需要对深度图和法相图进行滤波。

图像畸变矫正

$ mkdir $DATASET_PATH/dense

$ colmap image_undistorter \
    --image_path $DATASET_PATH/images \
    --input_path $DATASET_PATH/sparse/0 \
    --output_path $DATASET_PATH/dense \
    --output_type COLMAP \
    --max_image_size 3840

立体块匹配

$ colmap patch_match_stereo \
    --workspace_path $DATASET_PATH/dense \
    --workspace_format COLMAP \
    --PatchMatchStereo.max_image_size 3840 \
    --PatchMatchStereo.window_radius 9 \
    --PatchMatchStereo.geom_consistency true \
    --PatchMatchStereo.filter_min_ncc 0.07

对于纹理不是特别丰富的场景，建议增加 windows_radius 以及降低 filter_min_ncc 来提升深度值求解的准确度。

Mesh and Texutre Map

点云融合

$ colmap stereo_fusion \
    --workspace_path $DATASET_PATH/dense \
    --workspace_format COLMAP \
    --input_type geometric \
    --output_path $DATASET_PATH/dense/fused.ply

表面网格重建

$ colmap poisson_mesher \
    --input_path $DATASET_PATH/dense/fused.ply \
    --output_path $DATASET_PATH/dense/meshed-poisson.ply

$ colmap delaunay_mesher \
    --input_path $DATASET_PATH/dense \
    --output_path $DATASET_PATH/dense/meshed-delaunay.ply

—————— END ——————