Image Formation⚓︎

Lines⚓︎

2D 直线可用齐次坐标表示：\(\tilde{\mathbf{l}} = (a, b, c)^T\)

我们可以归一化(normalize) \(\tilde{\mathbf{l}}\)，使得 \(\tilde{\mathbf{l}} = (n_x, n_y, -d)^T = (\mathbf{n}, -d)^T\)，其中 \(\|\mathbf{n}\|_2 = 1\)，其中 \(\mathbf{n}\) 是和直线垂直的法向量，\(d\) 是到原点的距离。

一个例外是无穷远直线(line at infinity) \(\tilde{\mathbf{l}}_\infty = (0, 0, 1)^T\)，它经过了所有的理想点。

叉积(cross product) 被表示为斜对称矩阵 (skew-symmetric matrix) 与向量的乘积。

注：之后我们就约定用方括号表示矩阵，圆括号表示向量。

二维直线的算术运算：

• 齐次坐标下，两条直线的交(intersection) 为：\(\tilde{\mathbf{x}} = \tilde{\mathbf{l}}_1 \times \tilde{\mathbf{l}}_2\)
• 同样地，连接两点的直线可以简写为：\(\tilde{\mathbf{l}} = \tilde{\mathbf{x}}_1 \times \tilde{\mathbf{x}}_2\)

例子

例 1 例 2

更复杂的代数对象可以使用多项式齐次方程(polynomial homogeneous equations) 来表示。例如，圆锥曲线()（作为平面与三维圆锥的交线）可以用二次方程来表示： $$ {\bar{\mathbf{x}} | \bar{\mathbf{x}}^T \mathbf{Q} \bar{\mathbf{x}} = 0} $$

这对于多视图几何以及相机校准 (camera calibration) 很有帮助。

3D Primitives⚓︎

Points⚓︎

• 非齐次坐标(inhomogeneous coordinates) 形式：\(\mathbf{x} = \begin{pmatrix}x \\ y \\ z\end{pmatrix} \in \mathbb{R}^3\)
• 齐次坐标(homogeneous coordinates) 形式：\(\tilde{\mathbf{x}} = \begin{pmatrix}\tilde{x} \\ \tilde{y} \\ \tilde{z} \\ \tilde{w}\end{pmatrix} \in \mathbb{P}^3\)，其中投影空间 \(\mathbb{P}^3 = \mathbb{R}^4 \backslash \{(0, 0, 0, 0)\}\)

Planes⚓︎

3D 平面可用齐次坐标表示：\(\tilde{\mathbf{m}} = (a, b, c, d)^T\)

再次归一化(normalize) \(\tilde{\mathbf{m}}\)，使得 \(\tilde{\mathbf{l}} = (n_x, n_y, n_z, -d)^T = (\mathbf{n}, -d)^T\)，其中 \(\|\mathbf{n}\|_2 = 1\)，其中 \(\mathbf{n}\) 是和平面垂直的法向量，\(d\) 是到原点的距离。

一个例外是无穷远平面(plane at infinity) \(\tilde{\mathbf{l}}_\infty = (0, 0, 0, 1)^T\)，它经过了所有的理想点。

Lines⚓︎

3D 直线的表示不如 2D 直线或 3D 平面优雅。一种可能的表示方法是，将线上的点表示为该线上的两个点 \(p\) 和 \(q\) 的线性组合：

然而，这种表示法使用了 6 个参数来描述 4 个自由度(degree of freedom, DoF)（可以自由变化的数据个数）。可行的最小表示法是双平面参数化(two-plane parameterization) 或普吕克坐标(Plücker coordinates)。

Quadrics⚓︎

二维圆锥曲线的三维类比是二次曲面(quadric surface)。

这同样在多视图几何研究中非常有用，并且可作为有用的建模基元 (modeling primitives)（比如球体、椭球体、圆柱体等）。

超二次曲面(superquadrics)（二次曲面的泛化）用于形状抽象和压缩：

Transformations⚓︎

2D Transformations⚓︎

• 平移(translation)：对输入的 2D 平移，2 DoF

  \[ \mathbf{x}' = \mathbf{x} + \mathbf{t} \quad \Leftrightarrow \quad \bar{\mathbf{x}}' = \begin{bmatrix}\mathbf{I} & \mathbf{t} \\ \mathbf{0}^T & 1\end{bmatrix} \bar{\mathbf{x}} \]
  • 使用齐次表示法可以链接 / 逆转变换
  • 增广向量 \(\bar{\mathbf{x}}\) 能始终被替换为一般的齐次形式 \(\tilde{\mathbf{x}}\)

• 欧几里得(Euclidean) 变换：2D 平移 + 2D 旋转，3 DoF

  \[ \mathbf{x}' = \mathbf{Rx} + \mathbf{t} \quad \Leftrightarrow \quad \bar{\mathbf{x}}' = \begin{bmatrix}\mathbf{R} & \mathbf{t} \\ \mathbf{0}^T & 1\end{bmatrix} \bar{\mathbf{x}} \]
  • \(\mathbf{R} \in SO(2)\) 是一个正交归一旋转矩阵，满足 \(\mathbf{RR}^T = \mathbf{I}, \det(\mathbf{R}) = 1\)
  • 欧几里得变换保留了欧几里得距离

• 相似(similarity) 变换：2D 平移 + 可缩放的 2D 旋转，4 DoF

  \[ \mathbf{x}' = s\mathbf{Rx} + \mathbf{t} \quad \Leftrightarrow \quad \bar{\mathbf{x}}' = \begin{bmatrix}s\mathbf{R} & \mathbf{t} \\ \mathbf{0}^T & 1\end{bmatrix} \bar{\mathbf{x}} \]
  • \(\mathbf{R} \in SO(2)\) 是一个旋转矩阵，\(s\) 是一个任意的缩放因子
  • 相似变换保留了线之间的夹角关系

• 仿射(affine) 变换：2D 线性变换，6 DoF

  \[ \mathbf{x}' = \mathbf{Ax} + \mathbf{t} \quad \Leftrightarrow \quad \bar{\mathbf{x}}' = \begin{bmatrix}\mathbf{A} & \mathbf{t} \\ \mathbf{0}^T & 1\end{bmatrix} \bar{\mathbf{x}} \]
  • \(\mathbf{A} \in \mathbb{R}^{2 \times 2}\) 是一个任意的 \(2 \times 2\) 的矩阵
  • 平行线在仿射变换下保持平行

• 投影(projective) 变换：单应性(homography)（一种从一个平面到另一个平面的可逆投影变换），8 DoF

  \[ \tilde{\mathbf{x}}' = \tilde{\mathbf{H}} \tilde{\mathbf{x}} \quad \left(\bar{\mathbf{x}} = \dfrac{1}{\tilde{x}} \tilde{\mathbf{x}}\right) \]
  • \(\tilde{\mathbf{H}} \in \mathbb{R}^{3 \times 3}\) 是一个任意的齐次 \(3 \times 3\) 的矩阵（按比例指定）
  • 投影变换保留了直线

在协变向量 (co-vector) 上的 2D 变换：考虑任意的 2D 透视变换 \(\tilde{\mathbf{x}}' = \tilde{\mathbf{H}} \tilde{\mathbf{x}}\)，变换后的 2D 直线方程由 \(\tilde{\mathbf{I}'}^T \tilde{\mathbf{x}}' = \tilde{\mathbf{I}'}^T \tilde{\mathbf{H}} \tilde{\mathbf{x}} = (\tilde{\mathbf{H}}^T \tilde{\mathbf{I}'}) \tilde{\mathbf{x}} = \tilde{\mathbf{I}}^T \tilde{\mathbf{x}} = 0\)，因此得到 $$ \tilde{\mathbf{I}'} = \tilde{\mathbf{H}}^{-T} \tilde{\mathbf{I}} $$

因此，投影变换对一个 2D 直线或 3D 法向量等共向量的作用可以表示为矩阵转置的逆。

总结

• 这些变换构成嵌套的组集（在复合和逆运算下封闭）
• 可将变换看成作用于二维齐次坐标上的受限 3×3 矩阵
• 变换保持相似性（平行关系、直线）不变

3D Transformations⚓︎

将 2D 变换扩展至 3D 上“

• 3D 变换的定义类比 2D 变换
• 3×4 的矩阵通过添加第四行 \(\begin{bmatrix}\mathbf{0}^T & 1\end{bmatrix}\) 来扩展，以实现齐次变换
• 变换保持相似性（平行关系、直线）不变

Direct Linear Transform for Homography Estimation⚓︎

从一组二维对应关系中估计单应性矩阵的方法为：

• 令 \(\mathcal{X} = \{\tilde{\mathbf{x}}_i, \tilde{\mathbf{x}}_i'\}_{i=1}^N\) 表示一个包含 N 个 2D-to-2D 的关于 \(\tilde{\mathbf{x}}' = \tilde{\mathbf{H}} \tilde{\mathbf{x}}\) 对应关系的集合
• 由于对应向量是齐次的，它们方向相同但大小不同，因此上述方程可表示为 \(\tilde{\mathbf{x}}' \times \tilde{\mathbf{H}} \tilde{\mathbf{x}} = \mathbf{0}\)

• 使用 \(\tilde{\mathbf{h}}_k^T\) 表示 \(\tilde{\mathbf{H}}\) 的第 \(k\) 行，这可以被重写为关于 \(\tilde{\mathbf{h}}\) 的线性方程：

  \[ \begin{gathered}\underbrace{\begin{bmatrix}\mathbf{0}^T&-\tilde{w}_i^{\prime}\tilde{\mathbf{x}}_i^T&\tilde{y}_i^{\prime}\tilde{\mathbf{x}}_i^T\\\tilde{w}_i^{\prime}\tilde{\mathbf{x}}_i^T&\mathbf{0}^T&-\tilde{x}_i^{\prime}\tilde{\mathbf{x}}_i^T\\-\tilde{y}_i^{\prime}\tilde{\mathbf{x}}_i^T&\tilde{x}_i^{\prime}\tilde{\mathbf{x}}_i^T&\mathbf{0}^T\end{bmatrix}}_{\mathbf{A}_i}\underbrace{\begin{bmatrix}\tilde{\mathbf{h}}_1\\\tilde{\mathbf{h}}_2\\\tilde{\mathbf{h}}_3\end{bmatrix}}_{\tilde{\mathbf{h}}}=\mathbf{0}\end{gathered} \]

  最后一行与前三行线性相关，可以删除。

• 每个点对应产生两个方程。将所有方程堆叠成一个 \(2N \times 9\) 维的矩阵 \(A\)，从而形成以下约束的最小二乘问题(constrained least squares problem)

  \[ \begin{aligned}\tilde{\mathbf{h}}^{*}&=\underset{\tilde{\mathbf{h}}}{\operatorname*{\operatorname*{argmin}}}\left\|\mathbf{A}\tilde{\mathbf{h}}\right\|_2^2+\lambda(\left\|\tilde{\mathbf{h}}\right\|_2^2-1)\\&=\underset{\tilde{\mathbf{h}}}{\operatorname*{\operatorname*{argmin}}}\tilde{\mathbf{h}}^T\mathbf{A}^T\mathbf{A}\tilde{\mathbf{h}}+\lambda(\tilde{\mathbf{h}}^T\tilde{\mathbf{h}}-1)\end{aligned} \]

  其中固定 \(\|\tilde{\mathbf{h}}\|_2 = 1\)，因为 \(\tilde{\mathbf{H}}\) 是齐次的（即仅通过比例定义）且我们不关心平凡解 \(\tilde{\mathbf{h}} = 0\)。上述优化问题的解是 \(\mathbf{A}\) 的最小奇异值对应的奇异向量(singular vector)（即分解 \(\mathbf{A} = \mathbf{UDV}^T\) 时 \(\mathbf{V}\) 的最后一列）。

上述算法就叫做直接线性变换(direct linear transformation)。

应用：全景拼接 (panorama stitching)