最近在学习DIBR并尝试实现。感觉网上相关资料比较少,大多还是爬虫,决定自己写一个。

DIBR就是depth image based rendering问题。输入一个视角下的图像和深度图,要求你输出另外一个虚拟视角下的图像(当然两个视角的内外参矩阵都有办法通过已知信息求得)。

总共分三步:内参提取 和 外参提取 ,以及DIBR的主过程。这里按照网上其他博客的顺序,先介绍内参提取。看的过程中注意坐标系的定义。由于是第一次接触,这里我采用的坐标系可能和常规的坐标系不太一样。

开始之前先介绍一些定义(基于我自己实现算法的时候所使用的数据集):
\((u,v,1)^T\)为一个点的像素坐标。
\((x,y,1)^T\)为一个点在图像平面上以物理距离衡量的坐标。
\((X,Y,Z)\)为一个点在相机坐标系下的坐标。
\((X_w,Y_w,Z_w)\)为一个点在世界坐标系下的坐标。
\(f_x、f_y\)分别表示X轴的焦距和Y轴的焦距(非理想情况下横向和纵向的焦距是不一样的)。
\(d_x、d_y\)分别表示X轴(对应于图像的U轴)和Y轴(对应于图像的V轴)每个像素的物理尺寸(一个像素实际有多长)。
\(p_u、p_v\)表示相机的主点(principal point,就是相机主轴与成像平面的交点)在图像中的位置(以像素为单位)。
像素纵横比:\(pixel\ aspect\ ratio\)。表示像素的实际尺寸的高与宽之比。
主点:\(principal\ point\)。是一个二维向量,表示相机主光轴与成像平面的交点。这里以像素为单位在图像上进行刻画。
相机位置\((position_x,position_y,position_z)\)
焦距\(focal\ length\)
相机姿态(朝向)\(camera\ orientation\)。为一个三维向量,通常可用欧拉角、轴角、四元数等方式表示。这里采用的是轴角表示法。

后面的公式可以对照着这个表来看。

内参提取

内参提取就是求从相机坐标系到最终像素图像的变换。

在看具体的矩阵之前,先看一下怎么推的。

根据透视模型(这里就不赘述了)有:

那么就用\(\frac{y}{f}=\frac{Y}{Z}\)\(y=\frac{fY}{Z}\)。对于x同理。

那么图像平面上的坐标(以物理长度衡量)就是\((x,y,1)=(\frac{fX}{Z},\frac{fY}{Z},1)\)。这里采用齐次坐标。表示为\((fX,fY,Z)\)

再映射到以像素为单位的坐标系下:

就是\(u=\frac{x}{d_x}+p_u\),v同理。那么就有\((u,v)^T=(\frac{x}{d_x}+p_u,\frac{y}{d_y}+p_v,1)\)。同样使用齐次坐标有:\((Zu,Zv,Z)=(\frac{fX}{d_x},\frac{fY}{d_y},Z)\)。后面的推理都是在齐次坐标下进行的。

接下来写出矩阵乘法的形式:

定义\(K'=\left[ \begin{matrix} f_x & 0 & 0 \\ 0 & f_y & 0 \\ 0 & 0 & 1 \end{matrix} \right]\)用于从相机坐标系转移到图像平面上的坐标系(以图片的物理尺度进行衡量,还不是像素尺度,不妨设为V坐标系)

定义\(C=\left[ \begin{matrix} \frac{1}{d_x} & 0 & p_u \\ 0 & \frac{1}{d_y} & p_v \\ 0 & 0 & 1 \end{matrix} \right]\)为从V坐标系映射到图像坐标系(以像素为尺度)

定义\(K=C*K'=\left[ \begin{matrix} \frac{f_x}{d_x} & 0 & p_u \\ 0 & \frac{f_y}{d_y} & p_v \\ 0 & 0 & 1 \end{matrix} \right]\)。 这就是我们的内参矩阵。即

其中,\(\frac{f_x}{d_x}、\frac{f_y}{d_y}\)可由定义的\(par=pixel\ aspect\ ratio\)(像素纵横比)得到。我手上的数据集给出的焦距(focal length)是以像素为单位的,应该默认是给出\(focal\ length=\frac{f_x}{d_x}\)。那么\(\frac{f_y}{d_y}=\frac{f_x}{d_x}\x par\)。也就不需要我们去计算\(d_x、d_y\)了,毕竟jpg格式的解压不是人人都会的,opencv貌似也无法直接读出图像的分辨率信息(至少我没有查到)。

外参提取

外参提取就是求从世界坐标系到相机坐标系的变换。

这里把变换拆分为旋转变换和平移向量。

先来看看平移变换,这个很好写:

相机位置是\((p_x,p_y,p_z)\)(变量名有点重复,见谅见谅),那么就有平移向量:
\(C=(-p_x,-p_y,-p_z)^T\)\((X_w,Y_w,Z_w)^T+C\)就能够实现平移了。
(这里论文给的代码是正号,感觉不对,读者可以在评论区说服我为什么是正号)

接下来看旋转变换
这里的原理还没怎么搞懂,后面再来补上,先把做法说了。

输入给的是轴角表示(axis-angle),文章给出的实现是,先转化为四元数,再用四元数进行旋转。(我的评价是,不如直接用欧拉角,这好复杂...)

首先将axis和angle转化为四元数。设axis=\((a,b,c)^T\)。得到的四元数是\(q=(a,b,c,w)^T\)。不妨设axis是单位向量。
那么有\(q=(sin(\frac{angle}{2})axis,cos(\frac{angle}{2}))^T\)
下面用四元数得到旋转矩阵。不妨设q已经经过了单位化。
那么有:

最后就有\((X,Y,Z)^T=R((X_w,Y_w,Z_w)^T+C)\)

DIBR的核心步骤

有了两个视角下分别的内参和外参之后怎么做呢?这其实是最简单的一步。

\(Z(u,v,1)^T=KR((X_w,Y_w,Z_w)^T+C)\)
这对于两个视角下都是成立的:
\(Z_1p_1=K_1R_1(P+C_1)\)
\(Z_2p_2=K_2R_2(P+C_2)\)
用第一个式子把P求出来:
\(P=(K_1R_1)^{-1}Z_1p_1-C_1\)
再带到第二个式子里,最后把\(Z_2p_2\)弄成p2=(u,v,1)的形式就可以了。最后一步就是把p1对应的像素直接赋给p2即可。
注意:这里的Z_1,Z_2指的就是深度,所以才需要深度作为输入。这样看来,也能通过DIBR得到输出图像的深度信息。

这里写的时间不长,写的比较粗糙,如果有问题敬请指出。有时间我会回来把四元数的推导补上的。

最后把求内外参的代码奉上:

void Calc_Intrinsic_Matrix()
{
	actual_height=1.0*height*len_per_pixel;
	actual_width=1.0*width*len_per_pixel;

	intr_K=Mat::zeros(3,3,CV_64FC1);
	intr_K.at<double>(0,0)=focal_length;
	intr_K.at<double>(1,1)=focal_length*pixel_aspect_ratio;
	intr_K.at<double>(0,2)=1.0*width-principal_point[0]-1.0;
	intr_K.at<double>(1,2)=1.0*height-principal_point[1]-1.0;
	intr_K.at<double>(2,2)=1;

	intr_K=intr_K;

}

void Calc_Extrinsic_Matrix()
{
	extr_R=Mat::eye(3,3,CV_64FC1);
	//transform axis-angle to quaternion, and calculate transform matrix
	Mat axis=Mat::zeros(3,1,CV_64FC1);
	double angle=0;
	for(int i=0;i<3;i++)
	        angle+=orientation[i]*orientation[i];
	angle=sqrt(angle);
	for(int i=0;i<3;i++)
		axis.at<double>(i,0)=orientation[i]/angle;
	Mat qt=quaternion_about_axis(-angle,axis);
	extr_R=quaternion_matrix(qt);

	extr_C=Mat::zeros(3,1,CV_64FC1);
	extr_C.at<double>(0,0)=position[0];
	extr_C.at<double>(1,0)=position[1];
	extr_C.at<double>(2,0)=position[2];

}

参考:https://blog.csdn.net/u010922186/article/details/40683129

03-13 18:31