相机小孔成像模型与透视变换
相机小孔成像模型与透视变换
本文深入探讨了小孔成像模型的数学原理及其在两个相机之间的透视变换关系。通过严谨的数学推导，揭示了相机成像背后的科学原理，并讨论了在特定条件下的应用。
0 背景
本文用于记录小孔相机成像的数学模型推导，并讨论特定条件下两个相机之间看到图像的变换关系。
1 小孔成像模型
小孔成像模型如上图所示。物理世界发光点P，经过小孔O投影到物理成像平面，形成像点I’。
简易起见，构造虚拟成像平面，虚拟成像平面与物理成像平面关于O原点对称。像点I’在虚拟成像平面对应的点为I。
为虚拟像平面建立坐标系u-v。相机坐标系z轴垂直指向虚拟相平面，x轴与u轴同向，y轴与v轴同向。
P与I之间满足关系
$$
\vec{OI} = \lambda \cdot \vec{OP}
$$
再设I的x,y坐标与u,v坐标满足关系：
$$
\begin{bmatrix} I_{x} \ I_{y} \ I_{z} \end{bmatrix} = \begin{bmatrix} s_{u} & 0 & \delta u \ 0 & s_{v} & \delta v \ 0 & 0 & I_{z} \end{bmatrix} \cdot \begin{bmatrix} I_{u} \ I_{v} \ 1 \end{bmatrix}
$$
用I点像坐标表示$\vec{OI}$，带入$\vec{OI} = \lambda \cdot \vec{OP}$，基于第三维求得$\lambda$，等式两边同时除以常量$I_{z}$，得到小孔成像模型的数学表达。
$$
\begin{bmatrix} f_{u} & 0 & b_{u} \ 0 & f_{v} & b_{v} \ 0 & 0 & 1 \end{bmatrix} \cdot \begin{bmatrix} I_{u} \ I_{v} \ 1 \end{bmatrix} = \frac{1}{I_{z}} \cdot \begin{bmatrix} I_{x} \ I_{y} \ I_{z} \end{bmatrix} = \frac{1}{P_{z}} \cdot \begin{bmatrix} P_{x} \ P_{y} \ P_{z} \end{bmatrix}
$$
简记为下式。其中M为包含$f_{u}, b_{u}, f_{v}, b_{v}$的$3 \times 3$矩阵。$\vec{I}$为点I在虚拟成像平面上的齐次坐标向量。
$$
M \cdot \vec{I} = \vec{P} / P_{z}
$$
再引入世界坐标系与相机坐标系的相对关系，设相机坐标系在世界坐标系下的旋转矩阵与平移向量为R,T，则小孔成像模型变形为
$$
M \cdot \vec{I} = (R \cdot \vec{P} + T) / P^{c}_{z}
$$
其中，$P^{c}_{z}$仍为P点在相机坐标系下在z轴分量。
相应的，当已知像点坐标，对应物点坐标满足方程
$$
\vec{P} = P^{c}{z} \cdot R^{T} M \vec{I} - R^{T}T, P^{c}{z} > 0
$$
可见，已知像点坐标，可行物点坐标构成了以相机坐标系原点为起始点，与$\vec{OI}$同向的射线。
2 物点在已知平面条件下的像点物点关系讨论
当已知物点在特定平面下，不是一般性地，假设物点在世界坐标系XOY平面中，即物点Z分量为0。此时，特化的小孔成像模型写为
$$
M \cdot \vec{I} = \frac{1}{P^{c}{z}} \cdot \begin{bmatrix} r{1} & r_{2} & T \end{bmatrix} \cdot \begin{bmatrix} X \ Y \ 1 \end{bmatrix} = \frac{1}{P^{c}_{z}} \cdot G \cdot \begin{bmatrix} X \ Y \ 1 \end{bmatrix}
$$
其中，$r_{1}$与$r_{2}$分别为矩阵R的第1,2列。此时根据像点坐标求解物点坐标方法为
$$
\begin{bmatrix} X \ Y \ 1 \end{bmatrix} = P^{c}_{z} \cdot G^{-1} M \vec{I}
$$
这种特殊条件下，如果考虑两个相机模型，对同一物点P，两个像点坐标之间存在关系
$$
\begin{bmatrix} I^{2}{u} \ I^{2}{v} \ 1 \end{bmatrix} = \frac{P^{c1}{z}}{P^{c2}{z}} \cdot M^{-1}{2} G{2} G^{-1}{1} M{1} \cdot \begin{bmatrix} I^{1}{u} \ I^{1}{v} \ 1 \end{bmatrix}
$$
简记为
$$
\begin{bmatrix} I^{2}{u} \ I^{2}{v} \ 1 \end{bmatrix} = \frac{P^{c1}{z}}{P^{c2}{z}} \cdot H \cdot \begin{bmatrix} I^{1}{u} \ I^{1}{v} \ 1 \end{bmatrix}
$$
考虑第三维分量，可以求得系数项$P^{c1}{z}/P^{c2}{z}$，整理为以下公式
$$
\begin{bmatrix} t_{1} \ t_{2} \ t_{3} \end{bmatrix} = H \cdot \begin{bmatrix} I^{1}{u} \ I^{1}{v} \ 1 \end{bmatrix} \
\begin{bmatrix} I^{2}{u} \ I^{2}{v} \ 1 \end{bmatrix} = \frac{1}{t_{3}} \cdot \begin{bmatrix} t_{1} \ t_{2} \ t_{3} \end{bmatrix}
$$
综上所述，当已知物点P在世界坐标系XOY平面上时，两个相机下物点P的像点坐标之间满足透视变换关系，这个关系由透视变换矩阵H唯一确定。
3 H矩阵的标定
本节讨论2描述的特殊条件下，H矩阵的求解问题。将H写作
$$
H = \begin{bmatrix} h_{11} & h_{12} & h_{13} \ h_{21} & h_{22} & h_{23} \ h_{31} & h_{32} & h_{33} \end{bmatrix}
$$
给定一组${(I^{1}{u}, I^{1}{v}),(I^{2}{u},I^{2}{v})}$坐标对，则对任一对坐标对，求解的H应满足约束
$$
\begin{bmatrix} I^{2}{u} \ I^{2}{v} \ 1 \end{bmatrix} = \frac{1}{h_{31}I^{1}{u}+h{32}I^{1}{v}+h{33}} \cdot H \cdot \begin{bmatrix} I^{1}{u} \ I^{1}{v} \ 1 \end{bmatrix}
$$
设$H_{0}$满足上述约束，容易验证，任意$H = s \cdot H_{0}, s \neq 0$均满足上述约束。
即满足约束的H有无穷多个，它们之间只差一个缩放系数。而我们只需要求解一个即可。
简单起见，取$h_{33} = 1$。则对于一个点对，我们有方程
$$
\begin{bmatrix} I^{1}{u} & I^{1}{v} & 1 & 0 & 0 & 0 & -I^{2}{u}I^{1}{u} & -I^{2}{u}I^{1}{v} & -I^{2}{u} \ 0 & 0 & 0 & I^{1}{u} & I^{1}{v} & 1 & -I^{2}{v}I^{1}{u} & -I^{2}{v}I^{1}{v} & -I^{2}{v} \end{bmatrix} \cdot \begin{bmatrix} h_{11} \ h_{12} \ h_{13} \ h_{21} \ h_{22} \ h_{23} \ h_{31} \ h_{32} \ 1 \ \end{bmatrix} = \vec{0}
$$
可见一个点对提供了关于H元素的两个线性方程。最少4个点对，即可求解得到H。