• 作者簡介： 古鑒，于2015年加入暴風魔鏡，負責 AR 類產品及交互技術的研發工作。
  方維，主要從事計算機視覺和 AR 相關的跟蹤定位研究。
• 本文為作者投稿，版權歸原作者所有，非經作者同意，請勿轉載。歡迎技術投稿、約稿、給文章糾錯，請發送郵件至mobile@csdn.net。

最近增強現實越來越被大家熟悉起來。最近看到一個案例（http://www.pps.tv/w_19rtditek5.html），見圖一。 現代汽車發布電子用車手冊，其亮點是融入了 AR 技術。車主只需拿起手機或平板對準車子，該 AR 系統即能自動識別這是車子的哪一部分，并給出相關的信息。目前，該用車手冊涵蓋了空氣濾清器、智能巡航控制、警示標志、機油、制動液等方面的信息，同時還包含基于增強現實技術的視頻、指南。

圖一 現代汽車運用增強現實技術

很多人問我這是用到了什么樣的 AR 技術，是不是 SLAM？沒錯，這里面的確用到了 SLAM 相關技術。更確切地說，應該是 SLAM 框架中的一個重要技術環節：基于模型的追蹤技術（Model Based Tracking）。

今天，就讓我們來討論一下這個基于模型的追蹤技術技術，我先從整體介紹一下增強現實中的追蹤技術。增強現實技術的核心組成部分主要是(圖二)：顯示技術、輸入交互技術和識別追蹤技術。

圖二 增強現實的核心技術

顯示部分主要是光學成像相關技術，該部分與硬件相關的比較多，這里就不做展開介紹了。輸入交互的技術主要涉及語音交互、手勢交互等。這個我們會在下一期重點討論。我認為有了交互技術及空間感知的追蹤技術，即可實現了 AR 的基本功能。在這里，我們重點介紹追蹤技術。

追蹤技術是計算機科學中一個廣闊而重要的領域，它在教育、娛樂、工業和制造領域具有廣泛的應用。伴隨著成像設備和硬件計算能力的發展，當前基于計算機視覺的物體跟蹤技術取得了重大的發展。

追蹤技術主要分為：

光學追蹤；

內部傳感器追蹤；

超聲波追蹤；

磁力追蹤；

機械裝置追蹤。

光學追蹤是相對來說成本最低，比較精確的解決方案。它的難點主要在于視覺算法的門檻較高。AR 中的光學追蹤分為幾種（見圖三），在 VR 中 OutsideIn 的方式用的比較多，比如 Oculus、HTC Vive、PS VR用的都是 Outside 進行的位置追蹤。但是在AR中，基本都是 InsideOut，比如說 Hololens。當然最近 Oculus 的一體機用的也是 InsideOut 的追蹤方式。

InsideOut 比 OutsideIn 更加方便，成本更加低。但目前，OutsideIn 的方式更為精確一些。如在一些工業場景，多使用反光材質的標示點或特殊材質進行 Outsidein 光學追蹤。

標識追蹤現在用的比較多，比如說大家看到的識字卡片、繪本等都是所謂的標識追蹤，其最早的代表就是 ARToolkit 的。但該基于 Marker 的技術需要預先在 AR 場景中粘貼一定的標識，在用戶體驗和適應性方面具有較大的局限性。為此，基于無標識的 AR 技術是目前發展的方向。其中，無標識別追蹤是實現該技術核心問題之一，像是 SLAM 等都是屬于這個類別。我們這次主要介紹紅色部分的 Model-Based Tracking。

圖三 光學追蹤分類

Model-Based Tracking 的主要技術框架如下圖四所示，下面將該過程分為建模（Models)、視覺信息處理(Visual processing)、跟蹤(Tracking)三個方面，并依次對其進行展開。

圖四 基于模型跟蹤的三個主要任務：Models，Visual processing，Tracking

1. 模型建立（Models）

模型（Models）的建立主要從目標、傳感器和環境三個方面展開。首先對于跟蹤目標，需要該目標一些先驗信息（prior knowledge)，如被跟蹤物體的形狀、外觀、姿態等特性。其次是需要從傳感器的角度去考慮，比如如果使用未標定的單目相機，其獲取的信息多以 pixel 為單位，若使用立體相機或深度相機，其構建的尺寸信息是 Metric 的，因此不同傳感器的選擇對被跟蹤物體的表征形式會有不同影響。最后是從環境的角度，在基于視覺的跟蹤過程中，環境對跟蹤的準確性具有很關鍵的作用，比如在室內光照、環境相對穩定的情況下，重建所得模型就具有更加穩定，能很大程度提高基于模型跟蹤的準確性。

當前，在模型建立（models）階段，主要可分為 Online 和 Offline 兩種模型構建技術。Online 在線建模方式：以 SLAM 為代表，其在追蹤的同時建立模型，其中追蹤和建模是兩個相互依賴的過程，其彼此間的誤差會相互傳遞并累加，為保證較好追蹤精度，一般需要借助 Bundle Adjustment 等優化方法調整。但目前，該優化方法計算量較大。目前在 PC 端有較好的實現，在移動端尚存在計算能力相對不足的問題。Offline 離線建模方式：將建模和跟蹤分開，規避了 SLAM 過程中建模的不確定性，同時克服了建模所需大量運算量的問題，因此該方法能提高跟蹤的精度和效率。

目前 Offline 離線建模主要是有兩種情況：

（1）已知目標物體的 CAD 形狀，如模型在設計制造過程中已有的 CAD 先驗知識，在工業應用及企業級別的應用場合，因此多以本情況為主。
（2）通過傳感器（如結構光掃描、RGBD、ToF等）逆向獲取目標物體的模型信息，然后以此模型作為一個先驗知識。在實際的生活應用中，個人參與者不大可能獲取已有物體的 CAD 形狀，因此只能借助簡單的傳感器離線獲取模型，因此這種離線獲取模型的方式更加適用于消費者。

圖五 不同的物體跟蹤形式（當前主要以Shape和Appearance為主）

2. 視覺信息處理 (Visual processing)

視覺信息處理主要是提取和關聯傳感器所獲取的目標物體信息，以更新整個跟蹤系統的狀態。在實際的應用中，我們需要根據被跟蹤目標的特性，選擇穩定的跟蹤線索（如顏色、邊界、運動規律、背景信息等等）。

具體在實際應用過程中，是根據構建的模型信息，確定被預處理的對象。如在工業的 AR 等跟蹤過程中，多以 CAD 的形狀和拓撲信息為處理對象，該視覺信息處理過程即為對形狀和拓撲信息的采樣提取，和數據關聯等。在 2D/3D 領域，多以其各自對應的紋理特征和形狀特征為研究對象，整個視覺信息的處理過程是以提取、優化獲取構建模型的穩定特征為目標。

目前，該方法可進一步細分為：基于顏色的信息處理；基于關鍵特征的信息處理；基于輪廓的信息處理和基于模板的信息處理四部分。

3. 跟蹤 (Tracking)

當被傳感器獲取的數據經預處理輸入后，即可實現物體的定位跟蹤，該過程具體可以細分為檢測和跟蹤兩個階段。在檢測階段，需要以被跟蹤物體的先驗信息作為初始值，利用覺信息處理技術獲取的模型信息，與輸入的數據進行匹配，確定其在空間的姿態，實現對目標的跟蹤。

目前針對移動端 6DoF（Degree of Freedom）的跟蹤，主流是采用視覺和 IMU 進行融合，實現更穩定的跟蹤（如 Tango）。

以上就是我們極少的 model-Based tracking. 以后我們會逐一介紹增強現實技術是如何實現的。

總結

以上是生活随笔為你收集整理的探讨增强现实（AR）基于模型的追踪技术的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。