1. 定義

“Visual-Inertial Odometry“，俗稱VIO，是一個使用一個或者多個相機、一個或者多個IMU（Inertial Measurement Units）進(jìn)行傳感器狀態(tài)測量的技術(shù)。所謂的狀態(tài)，指的是智能體（比如無人機）的特定自由度下的姿態(tài)、速度等物理量。在目前實際可選的精確狀態(tài)估計方案中，VIO是除基于GPS以及基于雷達(dá)里程計（LiDAR-based odometry）外的唯一選擇。并且由于相機和IMU相比于其他傳感器比較廉價，也比較輕便，因此在今天的無人機上普遍配備了VIO用于狀態(tài)估計。

2. 速覽

VIO設(shè)計理念在于，將相機和IMU兩種的傳感器進(jìn)行數(shù)據(jù)融合，達(dá)到“優(yōu)勢互補”。相機可以在一定的曝光時間內(nèi)捕獲光子以獲取到一幅2D的圖像，在低速運動時，可以給出非常豐富的環(huán)境信息，這些信息在例如地點識別（place recognition）的感知任務(wù)上非常實用。然而，標(biāo)準(zhǔn)相機的輸出頻率是有限的，一般不超過100Hz；并且在基于單目的VO系統(tǒng)中，不能精準(zhǔn)估計尺度信息；在處于低紋理（如白墻）、高速運動或者高動態(tài)的場景（出現(xiàn)曝光過度或者不足）中時，只基于單目的估計過程缺乏魯棒性。

相比之下，IMU是一個本體感受傳感器（proprioceptive sensor）。也就是說，IMU只測量自身的角速度和外部施加于它的加速度（力），這兩個量是與場景信息無關(guān)的，因此IMU沒有相機遇到的那些困難。由此可見，IMU是基于相機的里程計方案中，實現(xiàn)在低紋理、高速運動和高動態(tài)場景中保持估計的魯棒性的理想補充傳感器。

此外，IMU具有很高的數(shù)據(jù)輸出頻率(～1000hz)。但在低加速度和低角速度下，其信噪比較低。并且由于傳感器偏差的存在，使用IMU測量進(jìn)行狀態(tài)估計會快速積累漂移誤差。因此，將相機和IMU結(jié)合可以在大部分環(huán)境中提供準(zhǔn)確和魯棒的狀態(tài)估計。

相機（綠）和IMU（藍(lán)）在某一條軌跡中的測量

一個典型的VIO系統(tǒng)配置中，相機與IMU器件之間緊密連接，運動時不發(fā)生剛性形變，兩種傳感器以不同的頻率輸出視覺和慣性的測量值。目前的VIO系統(tǒng)使用一系列的3D路標(biāo)（landmark）表示環(huán)境，以下的等式描述路標(biāo)點

到2D相機圖像坐標(biāo)系坐標(biāo) 的投影關(guān)系：

其中

表示標(biāo)準(zhǔn)透視投影，其中包含相機內(nèi)參。而IMU的測量值角速度 和加速度 有如下關(guān)系：

請?zhí)貏e注意等式中的值所處的坐標(biāo)系。其中

是IMU系（也有的稱為Body系）下表示的IMU自身的角速度， 是IMU在世界坐標(biāo)系下的加速度， 是世界坐標(biāo)系下的重力加速度。并且，角速度和加速度的測量值中都包含了噪聲和偏移，不同角標(biāo)的 和 分別為角速度和加速度的偏差和加性噪聲（詳見 Furgale et al 2013 ^[1]）。值得一提的是，對于低成本性能較差的IMU，上述模型可能過于簡化，有時還需要考慮尺度因素和軸向偏差帶來的額外誤差(詳見Rehder et al 2016 ^[2])。

VIO 是使用相機和IMU的測量

和 來估計傳感器套件（指相機和IMU綁在一起后形成的器件）的過程。我們可以說，VIO就是估計不同時間點 對應(yīng)的 個狀態(tài)量：

其中

是IMU六自由度（6-DOF）的姿態(tài)， 是IMU的速度， 和 分別是陀螺儀（gyroscope，測量角速度的）和加速計（accelerometer，測量加速度的）的偏差。與僅使用視覺的里程計相比，在利用IMU的測量值時，對速度和偏差進(jìn)行建模和估計是必不可少的。

VIO系統(tǒng)可以同時兼容多相機與多IMU（MIMC-VINS，暫無論文），但至少需要一個相機和一個IMU。在只有一個運動的相機時，允許我們在不確定的尺度（通常選取初始化階段采用的尺度）下估計3D環(huán)境和相機的運動，因為對于任意的尺度

和任意點 都滿足 ；而加入了IMU后，速度測量提供了尺度的信息，加速度測量保證了對重力的可觀性，IMU也始終知道重力的方向以修正狀態(tài)的估計（關(guān)于可觀性的更詳細(xì)分析可以查閱（Martinelli 2013^[3]）

左側(cè)為松耦合方法，右側(cè)為緊耦合方法

根據(jù)被融合視覺測量和慣性測量的具體形式，VIO方法可以分為兩種范式：松耦合（loosely coupled）和緊耦合（tightly coupled）。理論上來說，基于松耦合的VIO會在兩個獨立的運動估計過程中分別處理視覺和慣性測量的信息，最終將它們的輸出（位置、姿態(tài)等）進(jìn)行融合作為最終的輸出。相比之下，緊耦合方法直接從原始的相機和IMU測量值中計算最終輸出，例如跟蹤的2D特征、角速度和線加速度

。這兩種方法的區(qū)別顯示在上圖中。

基于緊耦合的方法比基于松耦合的方法有更高的精度。首先，緊耦合方法中，可以使用兩幀視覺測量數(shù)據(jù)中的IMU積分預(yù)測下一幀中的2D特征點位置，加快特征的跟蹤。其次，松耦合方法在估計的過程中較少考慮視覺和慣性信息耦合，在狀態(tài)估計的過程中難以利用視覺測量矯正慣性測量的誤差。

---

3. 一些關(guān)鍵的研究點

3.1 三種主要的VIO范式（paradigm）

三種狀態(tài)估計范式，來自《State Estimation for Robotics》

現(xiàn)有的VIO方案可以根據(jù)一次估計涉及到的待優(yōu)化狀態(tài)（主要是相機姿態(tài)）數(shù)量進(jìn)行分類，不同的范式與這與計算力的需求和精度相關(guān)。

• Full smoothers，基于批量非線性最小二乘優(yōu)化算法。完整地保留和估計所有的歷史狀態(tài)，允許在狀態(tài)量更新后執(zhí)行重線形化（re-linearization）時估計得到更新。
• ?xed-lag smoothers，又稱滑動窗口估計。只考慮最近一個窗口內(nèi)的狀態(tài)（不一定連續(xù)）進(jìn)行優(yōu)化，在加入新的狀態(tài)時邊緣化舊狀態(tài)，永久鎖定線性化誤差，精度較低，但效率高。
• ?ltering，只估計最近的一個狀態(tài)，是三種范式中速度最快的，也是早期VIO（或者說狀態(tài)估計）研究中的熱門方法。

近年來，得益于計算機性能的提升，研究的焦點已經(jīng)轉(zhuǎn)移到?xed-lag smoothers 和 Full smoothers，因為它們能夠提供更高的精度。關(guān)于更多當(dāng)前最新的在視覺慣性導(dǎo)航方面的研究進(jìn)展可以參閱讀 Huang 2019 ^[4]的文章。

值得注意的是，我們可以使用不同的方法建模VIO算法。一是可以對測量值和高斯先驗使用不同的不確定性表示。例如基于擴(kuò)展卡爾曼濾波（EKF）的方法使用協(xié)方差矩陣表示不確定性，而信息過濾器和平滑器的方法使用信息矩陣（協(xié)方差矩陣的逆）或者信息矩陣的平方根（Kaess et al^[5]，Wu et al 2015^[6]）表示。二是測量模型線性化的次數(shù)，例如標(biāo)準(zhǔn)EKF只處理一次測量就將其“丟棄”，迭代擴(kuò)展卡爾曼濾波（IEKF）方法在一個時刻上進(jìn)行了多次迭代，而平滑方法允許對所有任意狀態(tài)進(jìn)行多次線性化。雖然相關(guān)的名詞術(shù)語很多，但底層算法是緊密相關(guān)的。例如，可以證明IEKF方法收斂于最大后驗（MAP）的解，等價于一般用于平滑的高斯-牛頓算法得到的結(jié)果，這在《State Estimation for Robotics》第四章中有相關(guān)的討論。

下面給出三種范式各自的一些近年來研究的討論。

Filtering

濾波（filtering）算法只對最近的狀態(tài)進(jìn)行推理和更新，能夠進(jìn)行高效的估計估計。在經(jīng)典的濾波方法中，同時對姿態(tài)和路標(biāo)進(jìn)行估計（狀態(tài)向量中同時包含姿態(tài)和路標(biāo)位置），這使得求解的復(fù)雜度隨著估計的路標(biāo)數(shù)呈二次增長。為了使之滿足實時性，通常只對少量路標(biāo)進(jìn)行跟蹤，這方面的研究可以參考Davison et al 2007^[7]; Jones and Soatto 2011^[8]; Bloesch et al 2015^[9] 等工作。

進(jìn)一步，為了解決路標(biāo)點過多造成求解復(fù)雜度提高的問題，一個辦法是使用 structureless 的方式——將路標(biāo)點從狀態(tài)向量中進(jìn)行邊緣化。如明尼蘇達(dá)州大學(xué) Mourikis 等人提出的一種基于 EKF 的 VIO 緊耦合的 SLAM框架 Multi-State Constraint Kalman ?lter (MSCKF)^[10]中，當(dāng)某個路標(biāo)點不可見或者太老時，先通過高斯-牛頓優(yōu)化方法計算出該路標(biāo)點的空間位置，然后將多個相機位置下對這個路標(biāo)點的觀測作為一種約束，整合到 EKF更新中，接著把路標(biāo)點邊緣化。無結(jié)構(gòu)化濾波器（structureless ?lter）的一個缺點是對一系列的路標(biāo)測量值的處理，要被延后到對每一個路標(biāo)點的所有測量都獲取到的時候進(jìn)行。不能利用當(dāng)前所有的視覺信息進(jìn)行估計，影響了濾波器的精度。

此外，基于濾波的方法存在兩個主要的誤差來源。第一，濾波器將上一時刻的后驗信息（即當(dāng)前時刻的先驗）利用運動方程進(jìn)行預(yù)測，結(jié)合當(dāng)前測量更新到當(dāng)前狀態(tài)中，之后便永久刪除舊狀態(tài)，這樣的過程基于貝葉斯濾波進(jìn)行。因此，當(dāng)系統(tǒng)方程是非線性形式時，線形化造成的誤差和錯誤的離群值測量將會在濾波的過程中被鎖定，之后再也不能進(jìn)行過去某一個狀態(tài)進(jìn)行更新，造成不精確的估計結(jié)果^[11]。第二，線形化誤差會造成濾波器的不一致性（inconsistent）；通常單目+IMU系統(tǒng)在四個方向存在不可觀性：慣性系（Global frame）下的位置和繞著重力方向的朝向（航向角yaw），而桶滾角roll 和俯仰角 pitch 由于重力的存在而變得可觀，尺度因子由于加速度計的存在而可觀，這部分更細(xì)致的討論可以參閱文獻(xiàn) Kottas et al 2012^[12]和 Martinelli 2013 ^[13]。在Kottas et al 2012 ^[12]的結(jié)果表明，在錯誤估計狀態(tài)下的線性化行為，會在不可觀測的方向上增加虛假信息（spurious information）。為了解決這一問題，Huang et al 2008 ^[14] 中提出了 FEJ（ ?rst-estimates jacobian）方法，固定首次線形化時得到的雅可比矩陣，使得不同殘差對同一個狀態(tài)節(jié)點求雅克比時，線性化點一致，這樣就能避免零空間退化而使得不可觀變量變得可觀和不一致性的發(fā)生。

Fixed-lag Smoothing

固定滯后平滑器（Fixed-lag smoothers） 事實上和“滯后”沒多大關(guān)系，這一算法的主要思想是：保留最近時間線上一定數(shù)量的狀態(tài)進(jìn)行估計，將較老的狀態(tài)進(jìn)行邊緣化，近年來有不少針對這一方法的研究工作：Mourikis and Roumeliotis 2008^[15] ；Sibley et al 2010^[16]；Dong-Si and Mourikis 2011^[17]；Leutenegger et al 2015^[18]。對于高度非線性化的VIO，固定滯后平滑器比濾波方法更準(zhǔn)確，因為固定滯后平滑保留了一定數(shù)量的歷史狀態(tài)，當(dāng)這些狀態(tài)被更新后，可以重新線形化（relinearize）它們。并且，固定滯后平滑器可以在優(yōu)化后使用離群值拒絕方法（outlier rejection）或者魯棒代價函數(shù)，保證對含離群測量數(shù)據(jù)的魯棒性。然而，固定滯后平滑器如基于濾波的方法一樣，仍然存在于邊緣化舊狀態(tài)的過程，所以還是存在不一致性和線形化誤差（Huang et al 2011^[19]；Dong-Si and Mourikis 2011^[17]；Hesch et al 2014 ^[20]）

xt 邊緣化之后，信息矩陣變得稠密，原先條件獨立的變量變得相關(guān)

因為固定滯后平滑器在一次估計中需要考慮多個狀態(tài)而不只是最新狀態(tài)，因此比基于濾波的方法計算開銷大一些。此外，對估計窗口外的狀態(tài)的邊緣化，會導(dǎo)致信息矩陣變稠密，這妨礙了利用稀疏矩陣的性質(zhì)進(jìn)行加速運算（Walter et al 2007 ^[21]）。為此，有人建議放棄某些測量，而不是將它們邊緣化，以保持問題的稀缺性（Leutenegger et al 2015^[18]）。關(guān)于邊緣化問題的詳細(xì)由來和討論，可以在文獻(xiàn) Walter et al 2007 ^[21]中獲得更多的解釋。

Full Smoothing

全平滑方法通過求解一個大的非線性優(yōu)化問題來估計整個歷史狀態(tài)（Jung and Taylor 2001^[22]; Sterlow and Singh 2004^[23]; Bryson et al 2009^[24]; Indelman et al 2013^[25]; Patron-Perez et al 2015^[26]）。當(dāng)狀態(tài)發(fā)生變化時，完全平滑方法會更新全部歷史狀態(tài)的線形化點，因此完全平滑方法保證了最高的精度。但是，更新所有節(jié)點使得優(yōu)化問題復(fù)雜度與狀態(tài)的維數(shù)約成立方（cubic）的關(guān)系，當(dāng)軌跡和地圖隨時間增長時，實時操作很快變得不可行。實際中比較常見的做法是——只保留一些選出的關(guān)鍵幀（keyframes）進(jìn)行更新（Leutenegger et al 2015^[18]；Qin et al 2017^[27]；Strasdat et al 2010^[28]；Nerurkar et al 2014^[29]），并且將tracking和mapping的劃分到并行架構(gòu)中執(zhí)行優(yōu)化過程（Mourikis and Roumeliotis 2008^[15]；Klein and Murray 2009^[30]），這種做法也廣泛運用于固定滯后平滑器中。

一個演變過程，當(dāng)出現(xiàn)回環(huán)時，ISAM2利用貝葉斯樹識別和更新只受新測量值影響的變量的小子集

一項重大的突破是漸進(jìn)式平滑（incremental smoothing）技術(shù)，其中兩個里程碑式的工作是iSAM (Kaess et al 2008^[31]) 以及iSAM2 (Kaess et al 2012^[5])技術(shù)。它們二者利用因子圖的表達(dá)性來保持問題的稀疏性，在優(yōu)化的過程中識別和更新只受新測量值影響的小子集變量。如上圖中，漸進(jìn)式平滑保留了所有的歷史狀態(tài)；其中，圖中頂部顯示了機器人的姿態(tài)地圖，檢測到回環(huán)處使用藍(lán)色虛線表示；圖中底部顯示了對應(yīng)的貝葉斯樹，紅色表示受影響修改的節(jié)點小集團(tuán)，可見，出現(xiàn)在

和 處的回環(huán)只影響了一部分的狀態(tài)節(jié)點，而下半部分的兩個子樹保持不變。比較出名的使用漸進(jìn)式平滑框架的VIO是 Forster et al 2017的工作：流形上的預(yù)積分理論^[32]。

基于高中物理運動公式的姿態(tài)(R)、速度(v)和位置(p)積分公式，可見每次迭代優(yōu)化后，幀上的狀態(tài)改變，此時的IMU的測量就需要被重新積分

預(yù)積分理論是很自然的結(jié)果。在實際融合中，相機和IMU擁有不一樣的數(shù)據(jù)更新頻率，這會給全平滑方法以及固定滯后平滑器執(zhí)行優(yōu)化時造成困擾。在濾波的方法中，IMU數(shù)據(jù)一般用于預(yù)測模型，而相機用于測量模型，這樣一來，自然而然可以處理數(shù)據(jù)頻率不一的問題。然而對于全平滑方法，將每次IMU的測量數(shù)據(jù)添加為新的狀態(tài)是不可行的，這將會造成狀態(tài)維數(shù)增加，求解問題的復(fù)雜度也急劇上漲。因此，可以將幀之間的IMU的測量做積分，形成相對運動的約束。但是在每次迭代優(yōu)化后，幀上的狀態(tài)改變，此時的IMU的測量就需要被重新積分。為了避免這一個問題，Lupton and Sukkarieh 2012^[33]的工作中說明了可以通過相對運動約束的重參數(shù)化避免執(zhí)行重復(fù)的積分，這樣的重參數(shù)化方式被稱為“IMU 預(yù)積分”（IMU preintegration）。但是他們的工作是基于歐拉角進(jìn)行的，而后在Forster et al 2017^[32]中，作者使用旋轉(zhuǎn)群SO(3)上的流形結(jié)構(gòu)進(jìn)行推導(dǎo)，使預(yù)積分理論成熟。

3.2 相機-IMU標(biāo)定

為使VIO能達(dá)到最高性能，我們需要進(jìn)行相機和IMU之間的空間變換和時間偏移（temporal offsets）的標(biāo)定。相機和IMU的離線標(biāo)定方法已經(jīng)是一個被廣泛研究的問題，我們可以使用基于濾波（Kelly and Sukhatme 2011 ^[34]）或者基于批優(yōu)化（ Furgale et al 2013 ^[1]）的方法解決。而在線自標(biāo)定的方法，在目前先進(jìn)的VIO算法通常都已集成，在估算相機位姿和路標(biāo)點的同時，也同時估計相機和IMU之間的空間變換關(guān)系（Li and Mourikis 2013 ^[35]；Leutenegger et al 2015^[18]；）。如果相機-IMU組合器件之間沒有進(jìn)行硬件上的同步，那么還需要同時估計相機和IMU之間的時間偏移（Nikolic et al 2014^[36]）。目前，已經(jīng)有各種不同的離線方法進(jìn)行時間偏移估計（Furgale et al 2013 ^[1]；Kelly and Sukhatme 2014^[37]），但是很有少有關(guān)于在線進(jìn)行的研究（Li and Mourikis 2013 ^[35]；Qin and Shen 2018 ^[38]）。

一個著名的開源標(biāo)定工具箱是 Kalibr（Furgale et al 2013 ^[1]），被廣泛應(yīng)用于相機-IMU系統(tǒng)的時空標(biāo)定。Kalibr 使用連續(xù)而非離散的狀態(tài)表示軌跡，因此可以建模相機和IMU之間的時間偏移。這一工具箱開源在：https://github.com/ethz-asl/kalibr

---

4. 應(yīng)用案例

目前，有幾個開源的VIO方案可供選擇：

• MSCKF （Mourikis and Roumeliotis 2007 ^[10]）全稱為Multi-State Constraint Kalman Filter，是基于 EKF 的 VIO 緊耦合的 SLAM框架，構(gòu)成了很多現(xiàn)代VIO系統(tǒng)的基礎(chǔ)（例如Google ARCore和其前身Google Tango）。但是直到現(xiàn)在，還沒有官方開源的實現(xiàn)。原始的MSCKF算法提出了一個度量模型，該模型表達(dá)了觀察特定圖像特征的所有相機姿態(tài)之間的幾何約束，而不需要在狀態(tài)向量中維護(hù)3D路標(biāo)點位置的估計。在 Zhu et al 2017 ^[39]中實現(xiàn)了一個基于事件相機（Event-based Camera）輸入的使用MSCKF后端的里程計，后面該實現(xiàn)被改造成可接收普通相機特征跟蹤信息的版本，被開源在 https://github.com/daniilidis-group/msckf_mono
• OKVIS（Leutenegger et al 2015^[18]）全稱為 Open Keyframe-based Visual-Inertial SLAM，該方案使用了基于關(guān)鍵幀的滑動窗口（也就是固定滯后平滑器），代價函數(shù)由視覺路標(biāo)的加權(quán)重投影誤差和加權(quán)的慣導(dǎo)誤差項組合而成，使用Google Ceres Solver進(jìn)行非線性優(yōu)化。前端使用多尺度的Harris角點檢測去尋找特征點，并基于BRISK描述子完成兩幀之間的數(shù)據(jù)關(guān)聯(lián)?；瑒哟翱谥休^老的關(guān)鍵幀會被邊緣化，不再進(jìn)行估計。需要注意的是，OKVIS并沒有針對單目VIO進(jìn)行優(yōu)化，在(Leutenegger et al 2015^[18])中給出一個雙目配置下的方案，表現(xiàn)出了一定的優(yōu)越性能。OKVIS提供了一個ROS的package，開源在：https://github.com/ethz-asl/okvis_ros
• ROVIO（Bloesch et al 2015^[9]）全稱為Robust Visual Inertial Odometry，是一個基于EKF的緊耦合VIO系統(tǒng)。ROVIO系統(tǒng)新穎的地方在于：基于Robot-Centric坐標(biāo)系（當(dāng)前相機坐標(biāo)系）的bearing vector 和逆深度這三個自由度來參數(shù)化路標(biāo)點。而路標(biāo)點使用FAST角點特征，對于每一幀圖像進(jìn)行提取圖像金字塔，并在EKF框架中的IMU 預(yù)測階段對路標(biāo)點進(jìn)行預(yù)測，進(jìn)行圖像塊（patch）的仿射變換和匹配，接著進(jìn)行塊特征的跟蹤。并且，還在更新步驟中引入光度誤差參與計算。與OKVIS不同，ROVIO是只開發(fā)了單目VIO版本，代碼開源在： https://github.com/ethz-asl/rovio
• VINS-Mono（Qin et al 2017^[27]）是一個基于非線性優(yōu)化的緊耦合滑動窗口估計器，特征點選用GFTT（Good feature to track ^[40]）。VINS-Mono為此類別的估計框架引入了幾個新的特性。首先，作者提出了一個松耦合的傳感器融合初始化方法，利用 SFM進(jìn)行純視覺估計滑窗內(nèi)所有幀的位姿及 3D點逆深度，最后與IMU預(yù)積分進(jìn)行對齊求解初始化參數(shù)。在得到新的IMU測量數(shù)據(jù)時執(zhí)行預(yù)積分，得到IMU的約束后，與視覺約束和閉環(huán)約束共同執(zhí)行非線性優(yōu)化，求解姿態(tài)和偏移等。除此之外，VINS-Mono基于4-DOF的姿態(tài)圖（pose graph）執(zhí)行回環(huán)優(yōu)化。VINS-Mono開發(fā)了ROS版本和IOS版本，代碼被開源在：https://github.com/HKUST-Aerial-Robotics/VINS-Mono
• SVO+MSF（Forster et al 2014^[41], 2017^[42]，Lynen et al 2013^[43]）MSF（全稱 Multi-Sensor Fusion）是基于EKF的融合框架，可接收并融合不同頻率、來源的傳感器數(shù)據(jù)，形成一個最終估計。而SemiDirect Visual Odometry (SVO) 是計算輕量的視覺里程計算法，其通過跟蹤FAST角點特征和邊緣，最小化它們周圍圖像塊的光度誤差來完成圖像對齊，然后通過非線性最小二乘優(yōu)化最小化特征的重投影誤差，聯(lián)合優(yōu)化稀疏對齊結(jié)果與場景結(jié)構(gòu)。SVO只根據(jù)視覺測量進(jìn)行位姿估計，其結(jié)果輸入到MSF中，以松耦合的方式與IMU數(shù)據(jù)融合（Faessler et al 2016^[44]）。MSF和SVO都是開源的，并提供基于ROS的接口。而SVO 2.0 提供了Binary文件，可以通過以下地址獲得：https://github.com/uzh-rpg/rpg_svo_example，MSF的網(wǎng)址是： https://github.com/ethz-asl/ethzasl_msf
• SVO+GTSAM（Forster et al 2017^[32]）使用SVO作為視覺前端，使用了全平滑方法作為后端，而后端的實現(xiàn)基于iSAM2的在線因子圖優(yōu)化^[5]完成。在Forster et al 2017^[32]的流形預(yù)積分的工作中展示了該集成系統(tǒng)的結(jié)果，該系統(tǒng)引入了預(yù)積分因子（pre-integrated IMU factors）用于位姿圖的優(yōu)化。SVO和GTSAM4.0^[45]（集成iSAM2）都是開源的：SVO 2.0 提供了Binary文件，可以通過以下地址獲得：https://github.com/uzh-rpg/rpg_svo_example，GTSAM4.0可以通過以下地址獲得：Bitbucket

關(guān)于上述方案的對比，可以參閱論文 Delmerico and Scaramuzza 2018 ^[46]，里面提供了VIO在不同硬件下的時間、內(nèi)存消耗的比較，其中部分對里程計的介紹，上述文字已經(jīng)簡略涉及。

最近，Scaramuzza組的研究重點放在了事件相機的應(yīng)用上，在中^[47]結(jié)合了事件相機、標(biāo)準(zhǔn)普通相機和IMU的VIO系統(tǒng)——Ultimate SLAM。從實驗結(jié)果來看，結(jié)合了事件相機的VIO系統(tǒng)比基于普通相機的VIO系統(tǒng)有85%精度上的提升，主要體現(xiàn)為在高速運動、低光環(huán)境和高動態(tài)范圍場景下，具備更優(yōu)越的魯棒性。

---

5. 未來研究方向

未來的研究熱點有兩個方面：集成互補的傳感器(如事件攝像機)，以及新的算法工具(如深度學(xué)習(xí))

與普通相機不同，事件攝像機只發(fā)送由于在場景中運動時造成亮度變化的像素。并且，有四個突出的優(yōu)點：非常低的延遲、非常高的輸出頻率、支持高動態(tài)范圍以及非常低的功率消耗。這使得基于事件相機的VIO系統(tǒng)非常適合配置在高速運動的智能體上（Gallego et al 2017^[48]；Rebecq et al 2017^[49]; Rosinol Vidal et al 2018^[50]）或者在高動態(tài)范圍的環(huán)境中使用（Kim et al 2016^[51]；Rebecq et al 2017^[52]；Rosinol Vidal et al 2018^[47]）。但是，由于事件相機的輸出是由一系列異步事件組成的，傳統(tǒng)的基于幀的計算機視覺算法不能直接應(yīng)用，必須開發(fā)新的算法來處理異步數(shù)據(jù)。

一個健壯的VIO系統(tǒng)，不應(yīng)該僅僅利用環(huán)境幾何特征和傳感器測量模型，還應(yīng)利用關(guān)于環(huán)境的語義/上下文信息，以及特定于應(yīng)用場景的運動動力學(xué)先驗信息。在這一方面，深度視覺(-慣性)測程技術(shù)(Costante et al 2016^[53]；Wang et al 2017^[54]；Zhou et al 2017^[55]；Clark et al 2017^[56])已經(jīng)取得了很好的初步成果，特別是在解決標(biāo)準(zhǔn)相機的開放挑戰(zhàn)方面，如光圈問題、運動模糊、散焦和低能見度情況。然而，目前端到端方法在準(zhǔn)確性上仍無法與傳統(tǒng)方法相媲美。

本文來自 Visual-Inertial Odometry of Aerial Robots, Davide Scaramuzza and Zichao Zhang, accepted for publication in the Springer Encyclopedia of Robotics, 2019，小改

參考

^^abcdFurgale P, Rehder J, Siegwart R (2013) Uni?ed temporal and spatial calibration for multi-sensor systems. In: IEEE/RSJ Int. Conf. Intell. Robot. Syst. (IROS)

^Rehder J, Nikolic J, Schneider T, Hinzmann T, Siegwart R (2016) Extending kalibr: Calibrating the extrinsics of multiple IMUs and of individual axes. In: IEEE Int. Conf. Robot. Autom. (ICRA)

^Martinelli A (2013) Observability properties and deterministic algorithms in visual-inertial structure from motion. Foundations and Trends in Robotics pp 1–75

^Huang G (2019) Visual-inertial navigation: A concise review. In: IEEE Int. Conf. Robot. Autom. (ICRA)

^^abcKaess M, Johannsson H, Roberts R, Ila V, Leonard J, Dellaert F (2012) iSAM2: Incremental smoothing and mapping using the Bayes tree. Int J Robot Research 31:217–236

^Wu KJ, Ahmed AM, Georgiou GA, Roumeliotis SI (2015) A square root inverse ?lter for ef?cient vision-aided inertial navigation on mobile devices. In: Robotics: Science and Systems (RSS)

^Davison AJ, Reid ID, Molton ND, Stasse O (2007) MonoSLAM: Real-time single camera SLAM. IEEE Trans Pattern Anal Machine Intell 29(6):1052–1067

^Jones ES, Soatto S (2011) Visual-inertial navigation, mapping and localization: A scalable realtime causal approach. Int J Robot Research 30(4)

^^abBloesch M, Omari S, Hutter M, Siegwart R (2015) Robust visual inertial odometry using a direct EKF-based approach. In: IEEE/RSJ Int. Conf. Intell. Robot. Syst. (IROS)

^^abMourikis AI, Roumeliotis SI (2007) A multi-state constraint Kalman ?lter for vision-aided inertial navigation. In: IEEE Int. Conf. Robot. Autom. (ICRA), pp 3565–3572

^Tsotsos K, Chiuso A, Soatto S (2015) Robust inference for visual-inertial sensor fusion. In: IEEE Int. Conf. Robot. Autom. (ICRA)

^^abKottas DG, Hesch JA, Bowman SL, Roumeliotis SI (2012) On the consistency of vision-aided inertial navigation. In: Int. Symp. Experimental Robotics (ISER)

^Martinelli A (2013) Observability properties and deterministic algorithms in visual-inertial structure from motion. Foundations and Trends in Robotics pp 1–75

^Huang GP, Mourikis AI, Roumeliotis SI (2008) A ?rst-estimates jacobian EKF for improving SLAM consistency. In: Int. Symp. Experimental Robotics (ISER)

^^abMourikis AI, Roumeliotis SI (2008) A dual-layer estimator architecture for long-term localization. In: Proc. of the Workshop on Visual Localization for Mobile Platforms at CVPR, Anchorage, Alaska

^Sibley G, Matthies L, Sukhatme G (2010) Sliding window ?lter with application to planetary landing. J Field Robot 27(5):587–608

^^abDong-Si TC, Mourikis A (2011) Motion tracking with ?xed-lag smoothing: Algorithm consistency and analysis. In: IEEE Int. Conf. Robot. Autom. (ICRA)

^^abcdefLeutenegger S, Lynen S, Bosse M, Siegwart R, Furgale P (2015) Keyframe-based visual-inertial SLAM using nonlinear optimization. Int J Robot Research

^Huang GP, Mourikis AI, Roumeliotis SI (2011) An observability-constrained sliding window ?lter for SLAM. In: IEEE/RSJ Int. Conf. Intell. Robot. Syst. (IROS), pp 65–72

^Hesch JA, Kottas DG, Bowman SL, Roumeliotis SI (2014) Camera-IMU-based localization: Observability analysis and consistency improvement. Int J Robot Research 33(1):182–201

^^abWalter, Matthew R., Ryan M. Eustice, and John J. Leonard. "Exactly sparse extended information filters for feature-based SLAM." The International Journal of Robotics Research 26.4 (2007): 335-359.

^Jung SH, Taylor C (2001) Camera trajectory estimation using inertial sensor measurements and structure fom motion results. In: IEEE Int. Conf. Comput. Vis. Pattern Recog. (CVPR)

^Sterlow D, Singh S (2004) Motion estimation from image and inertial measurements. Int J Robot Research

^Bryson M, Johnson-Roberson M, Sukkarieh S (2009) Airborne smoothing and mapping using vision and inertial sensors. In: IEEE Int. Conf. Robot. Autom. (ICRA), pp 3143–3148

^Indelman V, Wiliams S, Kaess M, Dellaert F (2013) Information fusion in navigation systems via factor graph based incremental smoothing. J Robot and Auton Syst 61(8):721–738

^Patron-Perez A, Lovegrove S, Sibley G (2015) A spline-based trajectory representation for sensor fusion and rolling shutter cameras. Int J Comput Vis 113(3):208–219, DOI 10.1007/ s11263-015-0811-3

^^abQin, Tong, Peiliang Li, and Shaojie Shen. "Vins-mono: A robust and versatile monocular visual-inertial state estimator." IEEE Transactions on Robotics 34.4 (2018): 1004-1020.

^Strasdat H, Montiel J, Davison A (2010) Real-time monocular SLAM: Why ?lter? In: IEEE Int. Conf. Robot. Autom. (ICRA)

^Nerurkar E, Wu K, Roumeliotis S (2014) C-KLAM: Constrained keyframe-based localization and mapping. In: IEEE Int. Conf. Robot. Autom. (ICRA)

^Klein G, Murray D (2009) Parallel tracking and mapping on a camera phone. In: IEEE ACM Int. Sym. Mixed and Augmented Reality (ISMAR)

^Kaess M, Ranganathan A, Dellaert F (2008) iSAM: Incremental smoothing and mapping. IEEE Trans Robot 24(6):1365–1378

^^abcdForster C, Carlone L, Dellaert F, Scaramuzza D (2017a) On-manifold preintegration for real-time visual-inertial odometry. IEEE Trans Robot 33(1):1–21, DOI 10.1109/TRO.2016.2597321

^Lupton T, Sukkarieh S (2012) Visual-inertial-aided navigation for high-dynamic motion in built environments without initial conditions. IEEE Trans Robot 28(1):61–76

^Kelly J, Sukhatme GS (2011) Visual-inertial sensor fusion: Localization, mapping and sensor-tosensor self-calibration. Int J Robot Research 30(1):56–79, DOI 10.1177/0278364910382802

^^abLi M, Mourikis AI (2013) 3-d motion estimation and online temporal calibration for camera-imu systems. In: 2013 IEEE International Conference on Robotics and Automation, pp 5709–5716, DOI 10.1109/ICRA.2013.6631398

^Nikolic J, Rehder J, Burri M, Gohl P, Leutenegger S, Furgale P, Siegwart R (2014) A synchronized visual-inertial sensor system with FPGA pre-processing for accurate real-time SLAM. In: IEEE Int. Conf. Robot. Autom. (ICRA)

^Kelly J, Sukhatme GS (2014) A General Framework for Temporal Calibration of Multiple Proprioceptive and Exteroceptive Sensors, Springer Berlin Heidelberg, Berlin, Heidelberg, pp 195–209. DOI 10.1007/978-3-642-28572-1 14, URL https://doi.org/10.1007/ 978-3-642-28572-1_14

^Qin T, Shen S (2018) Online temporal calibration for monocular visual-inertial systems. In: IEEE/RSJ Int. Conf. Intell. Robot. Syst. (IROS)

^Zhu AZ, Atanasov N, Daniilidis K (2017) Event-based visual inertial odometry. In: IEEE Int. Conf. Comput. Vis. Pattern Recog. (CVPR), pp 5816–5824

^Shi J, Tomasi C (1994) Good features to track. In: IEEE Int. Conf. Comput. Vis. Pattern Recog. (CVPR), pp 593–600, DOI 10.1109/CVPR.1994.323794

^Forster C, Pizzoli M, Scaramuzza D (2014) SVO: Fast semi-direct monocular visual odometry. In: IEEE Int. Conf. Robot. Autom. (ICRA), pp 15–22, DOI 10.1109/ICRA.2014.6906584

^Forster C, Zhang Z, Gassner M, Werlberger M, Scaramuzza D (2017) SVO: Semidirect visual odometry for monocular and multicamera systems. IEEE Trans Robot 33(2):249–265, DOI 10.1109/TRO.2016.2623335

^Lynen S, Achtelik M, Weiss S, Chli M, Siegwart R (2013) A robust and modular multi-sensor fusion approach applied to MAV navigation. In: IEEE/RSJ Int. Conf. Intell. Robot. Syst. (IROS)

^Faessler M, Fontana F, Forster C, Mueggler E, Pizzoli M, Scaramuzza D (2016) Autonomous, vision-based ?ight and live dense 3D mapping with a quadrotor MAV. J Field Robot 33(4):431450, DOI 10.1002/rob.21581

^Dellaert F (2012) Factor graphs and GTSAM: A hands-on introduction. Tech. Rep. GT-RIMCP&R-2012-002, Georgia Institute of Technology

^Delmerico J, Scaramuzza D (2018) A benchmark comparison of monocular visual-inertial odometry algorithms for ?ying robots. In: IEEE Int. Conf. Robot. Autom. (ICRA)

^^abRosinol Vidal T, Rebecq H, Horstschaefer T, Scaramuzza D (2018) Ultimate slam? combining events, images, and imu for robust visual slam in hdr and high speed scenarios. IEEE Robotics and Automation Letters (RA-L), 2018 DOI 10.1109/lra.2018.2793357

^Gallego G, Lund JEA, Mueggler E, Rebecq H, Delbruck T, Scaramuzza D (2017) Event-based, 6DOF camera tracking from photometric depth maps. IEEE Trans Pattern Anal Machine Intell DOI 10.1109/TPAMI.2017.2658577

^Rebecq H, Gallego G, Mueggler E, Scaramuzza D (2017a) EMVS: Event-based multi-view stereo—3D reconstruction with an event camera in real-time. Int J Comput Vis pp 1–21, DOI 10.1007/s11263-017-1050-6

^Rosinol Vidal T, Rebecq H, Horstschaefer T, Scaramuzza D (2018) Ultimate slam? combining events, images, and imu for robust visual slam in hdr and high speed scenarios. IEEE Robotics and Automation Letters (RA-L), 2018 DOI 10.1109/lra.2018.2793357

^Kim H, Leutenegger S, Davison A (2016) Real-time 3d reconstruction and 6-dof tracking with an event camera. In: Eur. Conf. Comput. Vis. (ECCV)

^Rebecq H, Horstsch¨afer T, Gallego G, Scaramuzza D (2017b) EVO: A geometric approach to event-based 6-DOF parallel tracking and mapping in real-time. IEEE Robot Autom Lett 2:593600, DOI 10.1109/LRA.2016.2645143

^Costante G, Mancini M, Valigi P, Ciarfuglia T (2016) Exploring representation learning with cnns for frame-to-frame ego-motion estimation. In: IEEE Int. Conf. Robot. Autom. (ICRA)

^Wang S, Clark R, Wen H, Trigoni N (2017) Deepvo: Towards end-to-end visual odometry with deep recurrent convolutional neural networks. In: IEEE Int. Conf. Robot. Autom. (ICRA)

^Zhou T, Brown M, Snavely N, Lowe DG (2017) Unsupervised learning of depth and ego-motion from video. In: IEEE Int. Conf. Comput. Vis. Pattern Recog. (CVPR), pp 6612–6619, DOI 10.1109/CVPR.2017.700

^Clark R, Wang S, Wen H, Markham A, Trigoni N (2017) VINet: Visual-inertial odometry as a sequence-to-sequence learning problem. In: AAAI Conf. Arti?cial Intell.

與50位技術(shù)專家面對面20年技術(shù)見證，附贈技術(shù)全景圖

總結(jié)

以上是生活随笔為你收集整理的visual tree view在工具箱力没有_Visual-Inertial Odometry的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯，歡迎將生活随笔推薦給好友。