本文章收錄在黑鯨智能系統(tǒng)知識(shí)庫(kù)-黑鯨智能系統(tǒng)知識(shí)庫(kù)成立于2021年，致力于建立一個(gè)完整的智能系統(tǒng)知識(shí)庫(kù)體系。我們的工作：收集和整理世界范圍內(nèi)的學(xué)習(xí)資源，系統(tǒng)地建立一個(gè)內(nèi)容全面、結(jié)構(gòu)合理的知識(shí)庫(kù)。

作者博客：途中的樹

在機(jī)器人的感知系統(tǒng)中，有時(shí)我們需要攝像機(jī)來構(gòu)建三維世界的投影圖像，這篇文章來聊一聊

攝像機(jī)模型

• 描述了一個(gè)三維世界點(diǎn)在攝像機(jī)圖像中的投影。
• 假設(shè)
  • 有一個(gè)無限小的小孔的盒子
• 攝像機(jī)中心是射線的交匯點(diǎn)（針孔）。
• 后墻是圖像平面image plane
• 攝像機(jī)中心和圖像平面之間的距離是攝像機(jī)常數(shù)Camera constant

在歐幾里德幾何學(xué)中描述這種變換是比較困難的，不過在射影幾何中就簡(jiǎn)單許多，射影幾何的變換可以在齊次坐標(biāo)系下表示

• 射影幾何 Projective geometry是幾何變換的一個(gè)可替代方法
• 齊次坐標(biāo)系homogenous coordinates 在機(jī)器人學(xué)中廣泛應(yīng)用
• 優(yōu)勢(shì)：在射影幾何中仿射變換和投影變換可以用一個(gè)矩陣的乘法來傳達(dá)

相機(jī)校準(zhǔn)

• 相機(jī)可以將三維世界的點(diǎn)投射到二維圖像平面上
• 校準(zhǔn)的影響因素
  • 圖片中心
  • 焦距
  • 鏡頭畸變參數(shù)
• 為什么需要校準(zhǔn)
  • 便宜的鏡頭，相機(jī)的制作過程中都會(huì)產(chǎn)生誤差
  • 精確的校準(zhǔn)是非常必要的
    • 圖像3D信息解釋
    • 重建地圖模型
    • 機(jī)器人與環(huán)境的互動(dòng)（手眼協(xié)調(diào)）

Pinhole相機(jī)的三個(gè)假設(shè)

來自物體的所有射線相交于一個(gè)點(diǎn)

所有圖像點(diǎn)都被投射在一個(gè)平面上

從物體點(diǎn)到圖像的射線點(diǎn)是一條直線

• 當(dāng)然這些假設(shè)往往不成立，導(dǎo)致圖像不完美

鏡頭和針孔的區(qū)別

• 鏡頭只是針孔相機(jī)模型的一個(gè)近似值
• 物體上和圖像中的相應(yīng)點(diǎn)，以及鏡頭的中心通常不在一條線上
• 光束通過透鏡中心的距離越遠(yuǎn)，誤差就越大

坐標(biāo)系框架

• 環(huán)境坐標(biāo)系 World coordinate frame $S_o$
  • 表示為 $[X,Y,Z{]}^T$
• 相機(jī)坐標(biāo)系 Camera coordinate frame $S_k$
  • 表示為 ${[}^{k}X{,}^{k}Y{,}^{k}Z{]}^T$
• 圖像坐標(biāo)系 image coordinate frame $S_c$
  • 表示為 ${[}^{c}x{,}^{c}y{]}^T$
• 傳感器坐標(biāo)系 Sensor coordinate $S_s$
  • 表示為 ${[}^{s}x{,}^{s}y{]}^T$

坐標(biāo)系轉(zhuǎn)換 Transformation

• 我們想要從傳感器坐標(biāo)系轉(zhuǎn)換到環(huán)境坐標(biāo)系

• 其中環(huán)境坐標(biāo)系$S_o$ 到相機(jī)坐標(biāo)系$S_k$屬于外在轉(zhuǎn)換
  • 外在參數(shù)描述攝像機(jī)在環(huán)境中的姿態(tài)
• 其他的轉(zhuǎn)換屬于內(nèi)在轉(zhuǎn)換
  • 內(nèi)在參數(shù)描述了相機(jī)前的場(chǎng)景與最終圖像（傳感器）中的像素的映射關(guān)系

假設(shè)一個(gè)點(diǎn)$\mathcal{P}$

外在參數(shù)

• 攝像機(jī)相對(duì)于世界的姿態(tài)
• 可逆變換 Invertible transformation
• How many parameters are needed?
  • 6個(gè)：3個(gè)位置參數(shù)+3個(gè)方向參數(shù)
• 在環(huán)境坐標(biāo)系中點(diǎn)$\mathcal{P}$的坐標(biāo)為 ${\mathrm{X}}_P=[X_P,Y_P,Z_P{]}^T$
• 在相機(jī)坐標(biāo)系中圓點(diǎn)的坐標(biāo)（在環(huán)境坐標(biāo)系中的坐標(biāo)）為 ${\mathrm{X}}_O=[X_O,Y_O,Z_O{]}^T$
• 在下文中，我們將看到為什么與歐幾里得坐標(biāo)相比，H.C.是描述變換的更好選擇

環(huán)境坐標(biāo)系轉(zhuǎn)換到相機(jī)坐標(biāo)系 $S_o\to S_k$

直覺上講，知道了環(huán)境坐標(biāo)系中的坐標(biāo)，也知道的相機(jī)坐標(biāo)系的坐標(biāo)，想將點(diǎn)坐標(biāo)從環(huán)境坐標(biāo)系轉(zhuǎn)換到相機(jī)坐標(biāo)系，可以先做一個(gè)平移和旋轉(zhuǎn) ${}^k{X}_P=R(X_P?X_O)$,當(dāng)然這是在歐式坐標(biāo)系中的表示

如果放到H.C.齊次坐標(biāo)系中，則為

• $\left[\begin{array}{c}{}^k{X}_p\\ 1\end{array}\right]=\left[\begin{array}{cc}R& 0\\ 0^{\mathrm{T}}& 1\end{array}\right]\left[\begin{array}{cc}{I}_3& ?X_O\\ 0^{\mathrm{T}}& 1\end{array}\right]\left[\begin{array}{c}{X}_P\\ 1\end{array}\right]=\left[\begin{array}{cc}R& ?R{X}_O\\ 0^{\mathrm{T}}& 1\end{array}\right]\left[\begin{array}{c}{X}_P\\ 1\end{array}\right]$
• 或者寫為${}^k{\mathrm{X}}_P{=}^k{\mathrm{H}\mathrm{X}}_P$有${}^k\mathrm{H}=\left[\begin{array}{cc}R& ?R{X}_O\\ 0^{\mathrm{T}}& 1\end{array}\right]$

內(nèi)在參數(shù)

• 將點(diǎn)從相機(jī)框架投射到傳感器框架的過程
• 可逆變換
  • 圖像平面到傳感器框架
  • 模型偏差
• 不能直接倒置：投影
• 理想狀態(tài)下的投影可以分為三步
• 將透視投影投射到圖像平面上
• 轉(zhuǎn)換到傳感器坐標(biāo)系框架（像素）
• 前面兩個(gè)映射步驟是理想化的，需要進(jìn)行校正，或者說補(bǔ)償compensation

相機(jī)坐標(biāo)系到圖像坐標(biāo)系

• 在圖像坐標(biāo)系統(tǒng)中：
  • 我們定義一個(gè)相機(jī)常數(shù) $c$ 用來表示投影中心（小孔位置）$O$到圖像平面中心$\mathcal{H}$的距離
  • 該值是作為相機(jī)校準(zhǔn)的一部分計(jì)算出來的
  • $c<0$情況如下圖

如果上圖的透視投影是沒誤差的，根據(jù)截?cái)喽ɡ韼缀侮P(guān)系我們可以得到點(diǎn)$\mathcal{P}$ （3D）在圖像平面上的投影點(diǎn)$\overline{\mathcal{P}}$（3D）的坐標(biāo)${[}^c{x}_{\overline{\mathcal{P}}}{,}^c{y}_{\overline{\mathcal{P}}}]$,

$${}^c{x}_{\overline{\mathcal{P}}}:{=}^k{X}_{\overline{\mathcal{P}}}=c\frac{{}^k{X}_{\mathcal{P}}}{{}^k{Z}_{\mathcal{P}}}$$

$${}^c{y}_{\overline{\mathcal{P}}}:{=}^k{Y}_{\overline{\mathcal{P}}}=c\frac{{}^k{X}_{\mathcal{P}}}{{}^k{Z}_{\mathcal{P}}}$$

H.C. 齊次坐標(biāo)模式

$${}^c{\mathrm{x}}_{\overline{\mathcal{P}}}=?\begin{array}{c}{}^c{u}_{\overline{P}}\\ {}^c{v}_{\overline{P}}\\ {}^c{w}_{\overline{P}}\end{array}?=?\begin{array}{cccc}c& 0& 0& 0\\ 0& c& 0& 0\\ 0& 0& 1& 0\end{array}??\begin{array}{c}{}^c{X}_P\\ {}^c{Y}_P\\ {}^c{Z}_P\\ 1\end{array}?$$

可以寫成 $$\begin{gathered} {}^c{\mathrm{x}}_{\overline{\mathcal{P}}}{=}^c{\mathrm{P}}_k{ \\ }^k{\mathrm{X}}_P \end{gathered}$$ with ${}^c{\mathrm{P}}_k=?\begin{array}{cccc}c& 0& 0& 0\\ 0& c& 0& 0\\ 0& 0& 1& 0\end{array}?$這定義了從相機(jī)框架中的一個(gè)點(diǎn)到圖像框架的投影

環(huán)境坐標(biāo)系到圖像坐標(biāo)系

• 如此結(jié)合一下前面的兩部轉(zhuǎn)換,從世界框架到相機(jī)框架的轉(zhuǎn)換，然后投射到圖像框架中（H.C.）

  ${}^c{\mathrm{x}}_{\overline{\mathcal{P}}}{=}^c\mathrm{P}\mathrm{X}$ with ${}^c\mathrm{P}{=}^c{\mathrm{P}}_k{}^k\mathrm{H}=?\begin{array}{cccc}c& 0& 0& 0\\ 0& c& 0& 0\\ 0& 0& 1& 0\end{array}?\left[\begin{array}{cc}R& ?R{X}_O\\ 0^{\mathrm{T}}& 1\end{array}\right]$

• 理想相機(jī)的校準(zhǔn)矩陣 ${}^c\mathrm{K}=?\begin{array}{ccc}c& 0& 0\\ 0& c& 0\\ 0& 0& 1\end{array}?$

• 我們可以把整個(gè)映射寫成右圖

• 各種矩陣變換，就不細(xì)說了下面寫一下最后結(jié)果

• 校準(zhǔn)矩陣
  • 現(xiàn)在我們有${}^c\mathrm{P}{=}^c\mathrm{K}R[I_3|?X_O]$
  • 所以現(xiàn)在把一個(gè)點(diǎn)映射到圖像層為 ${}^c\mathrm{x}{=}^c\mathrm{K}R[I_3|?X_O]\mathrm{X}$
  • 最后得到H.C.坐標(biāo)為 ${}^c\mathrm{x}$
    • $?\begin{array}{c}{}^c{u}^{\prime }\\ {}^c{v}^{\prime }\\ {}^c{w}^{\prime }\end{array}?=?\begin{array}{ccc}c& 0& 0\\ 0& c& 0\\ 0& 0& 1\end{array}??\begin{array}{ccc}{r}_{1}1& r_{1}2& r_{1}3\\ r_{2}1& r_{2}2& r_{2}3\\ r_{3}1& r_{3}2& r_{3}3\end{array}??\begin{array}{c}X?X_O\\ Y?Y_O\\ Z?Z_O\end{array}?$

環(huán)境坐標(biāo)到傳感器坐標(biāo)

• 現(xiàn)在要把圖像層映射到傳感器層

• 假設(shè)圖像層到傳感器層是線性誤差

• 主點(diǎn)在圖像平面中的位置（偏移）

• 基于芯片設(shè)計(jì)的x和y的比例差異

• 圖像層的中心點(diǎn)的位置

  • 傳感器坐標(biāo)系的中心點(diǎn)$(0,0)$并不是圖像的中心點(diǎn)
  • 通過移位來補(bǔ)償偏移
  • ${}^c{\mathrm{H}}_c=?\begin{array}{ccc}1& 0& x_{\mathrm{H}}\\ 0& 1& y_{\mathrm{H}}\\ 0& 0& 1\end{array}?$

• 比例差別
  • ${}^c{\mathrm{H}}_c=?\begin{array}{ccc}1& 0& x_{\mathrm{H}}\\ 0& 1+m& y_{\mathrm{H}}\\ 0& 0& 1\end{array}?$
• 最后得到傳感器坐標(biāo)
  • $$\begin{gathered} {}^s\mathrm{x}{=}^s{\mathrm{H}}_c{ \\ }^c\mathrm{K}R[I_3|?X_O]\mathrm{X} \end{gathered}$$
  • $$\begin{gathered} \mathrm{K}{=}^s{\mathrm{H}}_c{ \\ }^c\mathrm{K}=?\begin{array}{ccc}1& 0& x_{\mathrm{H}}\\ 0& 1+m& y_{\mathrm{H}}\\ 0& 0& 1\end{array}??\begin{array}{ccc}c& 0& 0\\ 0& c& 0\\ 0& 0& 1\end{array}?=?\begin{array}{ccc}1& 0& x_{\mathrm{H}}\\ 0& c(1+m)& y_{\mathrm{H}}\\ 0& 0& 1\end{array}? \end{gathered}$$

相機(jī)參數(shù)

• 這個(gè)就是我們要找的相機(jī)參數(shù)，拋開旋轉(zhuǎn)不論
  • 這個(gè)校準(zhǔn)矩陣Calibration Matrix包含4個(gè)參數(shù)
    • 相機(jī)常數(shù)$c$
    • 中心點(diǎn) $x_H,y_H$
    • 比例差異 $m$

非線性誤差補(bǔ)償

• 到目前為止，我們只考慮了線性參數(shù)
• 現(xiàn)實(shí)世界是非線性的
  • 不完善的鏡頭
  • 傳感器的非平面性
  • …

• 怎么解決呢？
  • 再加最后一步校正這個(gè)非線性的影響
  • 傳感器坐標(biāo)系中與位置有關(guān)的移動(dòng)
  • 根據(jù)與圖像中心的距離，對(duì)每個(gè)像素進(jìn)行單獨(dú)移動(dòng)

${}^{a}x{=}^{s}x+\Delta x(x,q)$

${}^{a}y{=}^{s}y+\Delta y(x,q)$

In the image

• 來個(gè)例子吧
  • 畸變的近似值${}^{a}x=x(1+q{r}^2){，}^{a}y=y(1+q{r}^2)$
  • $r$ 是像素到圖像中心的距離
  • $q$ 是一般映射的附加參數(shù)
• 放到H.C.
  • $$\begin{gathered} {}^a\mathrm{x}{=}^a{\mathrm{H}}_s(x,q){ \\ }^s\mathrm{x} \end{gathered}$$ with ${}^a{\mathrm{H}}_s(x,q)=?\begin{array}{ccc}1& 0& \Delta x(x,q)\\ 0& 1& \Delta y(x,q)\\ 0& 0& 1\end{array}?$
  • ${}^a\mathrm{x}{=}^a{\mathrm{H}}_c(x,q)\mathrm{K}R[I_3|?X_O]\mathrm{X}$

最終校正矩陣

• 一般的校準(zhǔn)矩陣是通過將仿生變換的矩陣與一般的映射結(jié)合起來得到的

  • ${}^a\mathrm{K}(x,q){=}^a{\mathrm{H}}_s(x,q)\mathrm{K}=?\begin{array}{ccc}1& 0& x_{\mathrm{H}}+\Delta x(x,q)\\ 0& c(1+m)& y_{\mathrm{H}}+\Delta y(x,q)\\ 0& 0& 1\end{array}?$

• 這就求得最終的映射

  • ${}^a\mathrm{x}{=}^a\mathrm{P}(x,q)\mathrm{X}$ with ${}^a\mathrm{P}(x,y){=}^a\mathrm{K}(x,y)R[I_3|?X_O]$

• 如果Intrinsics是未知的，我們稱之為未校準(zhǔn)的攝像機(jī)

• 如果Intrinsics是已知的，我們稱相機(jī)為校準(zhǔn)的。

• 獲得Intrinsics的過程被稱為相機(jī)校準(zhǔn)

總結(jié)

以上是生活随笔為你收集整理的认知机器人：相机校准的全部?jī)?nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。