轉(zhuǎn)載請注明出處 https://blog.csdn.net/wanggao_1990/article/details/81435660

機(jī)器人視覺系統(tǒng)中要實(shí)現(xiàn)像素坐標(biāo)與實(shí)際坐標(biāo)的轉(zhuǎn)換，首先要進(jìn)行標(biāo)定。這里標(biāo)定不僅包括攝像頭標(biāo)定，也包括機(jī)器人系統(tǒng)的手眼標(biāo)定。這里的構(gòu)型為Eye-in-hand。

1、攝像機(jī)標(biāo)定

（1）理論

張正友棋盤標(biāo)定法對攝像機(jī)進(jìn)行標(biāo)定。
由于攝像機(jī)標(biāo)定結(jié)果要用到后面的手眼標(biāo)定中，棋盤圖片拍攝時(shí)需要遵守：標(biāo)定板固定位置不動(dòng)，手眼組合體變換姿態(tài)拍攝圖片。
目的：兩組坐標(biāo)系的兩兩轉(zhuǎn)化矩陣：$T_1$和$T_2$
1） 攝像機(jī)坐標(biāo)系C轉(zhuǎn)化為圖片像素坐標(biāo)系P的轉(zhuǎn)換矩陣T1

$P=T_1?C$

T1在攝像機(jī)標(biāo)定中內(nèi)參矩陣3*3
2） 棋盤世界坐標(biāo)系G轉(zhuǎn)化為攝像機(jī)坐標(biāo)系C的轉(zhuǎn)換矩陣T2

$C=T_2?G$

T2在攝像機(jī)標(biāo)定中外參矩陣4*4，由旋轉(zhuǎn)矩陣r33和平移向量t31構(gòu)成[ t r; 0 0 0 1]

(2) 方法

OpenCv 或者 Matlab

2、手眼標(biāo)定

（1）理論部分

手眼標(biāo)定目的：得到機(jī)器手坐標(biāo)系H轉(zhuǎn)化為攝像機(jī)坐標(biāo)系$C$的轉(zhuǎn)化矩陣$T_3$?？杀硎緸?#xff1a;

$C=T_3?H$

T3需要根據(jù)公式$AX=XB$得到；實(shí)際中，分別知道$A$、$B$求出來的X有無窮多個(gè)解。所以為了實(shí)現(xiàn)唯一解至少需要兩組$A$和$B$，即至少需要3個(gè)位置的攝像機(jī)標(biāo)定結(jié)果。
下圖為$AX=XB$圖解，棋盤相對機(jī)器人基坐標(biāo)系固定，因此有

$B_1?X^{?1}?A_1=B_2?X^{?1}?A_2$

轉(zhuǎn)換$A_2?A_1^{?1}?X=X?B_2^{?1}?B_1$

可令 $A=A_2?A_1^{?1}$，$B=B_2^{?1}?B_1$。

1) $A$的求法

$A$是兩個(gè)攝像機(jī)坐標(biāo)系之間的變換矩陣。假設(shè)上述攝像機(jī)標(biāo)定中有3張標(biāo)定圖片的外參標(biāo)定結(jié)果分別是$H_{c1}$、$H_{c2}$、$H_{c3}$，那么可以得到兩個(gè)$A$矩陣：

$A_1=H_{c2}?H_{c1}^{?1}$

$A_2=H_{c3}?H_{c2}^{?1}$

2) $B$的求法

B是兩個(gè)機(jī)器手坐標(biāo)系之間的變換矩陣。假設(shè)上述攝像機(jī)標(biāo)定中的3張標(biāo)定圖片所一一對應(yīng)的機(jī)器手坐標(biāo)系在基坐標(biāo)系（也可以是工件坐標(biāo)系或者其他固定的參考坐標(biāo)系）中的坐標(biāo)系描述矩陣結(jié)果分別是$H_{g1}$、$H_{g2}$、$H_{g3}$（需要從機(jī)器人控制器或示教器中讀取或轉(zhuǎn)換），那么可以得到兩個(gè)$B$矩陣：

$B_1=H_{c2}^{?1}?H_{c1}$

$B_2=H_{c3}^{?1}?H_{c2}$

由以上兩組$A$和$B$，代入$AX=XB$就可以得到唯一解X，從而$T_3=X$。
至少2組數(shù)據(jù)，可以進(jìn)行求解，參考Navy_HandEye或Tsai_HandEye等方法。

（2）計(jì)算過程

獲取攝像機(jī)標(biāo)定已知攝像機(jī)外參矩陣$H_{c1}$、$H_{c2}$、$H_{c3}$（攝像機(jī)標(biāo)定時(shí)已有）

從機(jī)器人控制器中讀取對應(yīng)的機(jī)械手坐標(biāo)末端姿態(tài)描述數(shù)據(jù)
機(jī)器人系統(tǒng)的坐標(biāo)系描述數(shù)據(jù)可能有2種形式：
- 平移向量+歐拉角: $x,y,z,r_z,r_y,r_z$ ， 需要知道轉(zhuǎn)換關(guān)系.
- 平移向量+四元數(shù)模式： $x,y,z,q_w,q_x,q_y,q_z$，唯一轉(zhuǎn)換。
推薦選擇四元數(shù)模式，轉(zhuǎn)換成旋轉(zhuǎn)矩陣方式唯一，如下

$R=?\begin{array}{ccc}2(q_w^2+q_x^2)?1& 2(q_x{q}_y?q_w{q}_z)& 2(q_x{q}_z+q_w{q}_x)\\ 2(q_x{q}_y+q_w{q}_z)& 2(q_w^2+q_y^2)?1& 2(q_y{q}_z?q_w{q}_x)\\ 2(q_x{q}_z+q_w{q}_x)& 2(q_y{q}_z+q_w{q}_x)& 2(q_w^2+q_z^2)?1\end{array}?$

求解攝像機(jī)坐標(biāo)系到機(jī)械手坐標(biāo)系的變換矩陣X
例如采集圖像25幅，進(jìn)行相機(jī)標(biāo)定，可得到25個(gè)外參矩陣，同時(shí)對應(yīng)可以從控制器界面讀取或者轉(zhuǎn)換得到25個(gè)姿態(tài)矩陣。接著可以利用 1） 2）得到$C_{25}^2$組$A$、$B$，再利用$AX=XB$計(jì)算得到$X$。

標(biāo)題3、根據(jù)標(biāo)定結(jié)果對目標(biāo)定位

##（1）理論部分
由上述1、2標(biāo)定得到：

矩陣含義說明

$H_{pc}$	內(nèi)參矩陣	攝像機(jī)坐標(biāo)系C -> 像素坐標(biāo)系P
$H_{cg}$	手眼矩陣	機(jī)械手坐標(biāo)系H -> 攝像機(jī)坐標(biāo)系C
$H_g$	從控制器讀取的末端姿態(tài)矩陣	機(jī)械手坐標(biāo)系H -> 基坐標(biāo)系B

基坐標(biāo)系轉(zhuǎn)化為像素坐標(biāo)系的變換矩陣，可由下面兩式求解（注意使用齊次坐標(biāo)系）。

$z_c?[u,v,1{]}^T=H_{pc}?[x_c,y_c,z_c{]}^T$

$[x,y,z{]}^T=H_g?H_{cg}^{?1}?[x_c,y_c,z_c{]}^T$

---

未完 …

win10，vs2015。 linux下使用有幾個(gè)小錯(cuò)誤或警告地方，根據(jù)編譯器輸出略作修改。源碼 https://github.com/wanggao1990/HandEyeCalibration， 有用煩請star一下。

新浪演示視頻地址 http://t.cn/RDW1sAf?m=4271991789966178&u=2335487824，CSDN視頻 https://live.csdn.net/v/177543

opencv4.1 也加入了手眼標(biāo)定，可以嘗試。

總結(jié)

以上是生活随笔為你收集整理的手眼标定的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。