作者｜小舟、杜偉

?來源｜機器之心

近日，微軟提出了一種基于 NeRF 的新系統 FastNeRF，用它來渲染逼真圖像，速度能有多快呢？在高端消費級 GPU 上達到了驚人的 200FPS！

神經輻射場（Neural Radiance Fields, NeRF）領域的最新研究展示了神經網絡編碼復雜 3D 環境的方式，這類方法能以新的視角真實地渲染環境。渲染這些圖像需要非常大的計算量，即使在高端硬件上，這些新進展與實現交互式速率仍然相去甚遠。

在本文中，來自微軟的研究者提出了一種名為 FastNeRF 的新系統，它以每秒數百幀的速度渲染對象的高分辨率真實性新視圖。相比之下，NeRF 等現有方法在速度上要慢幾個數量級，并且只能以交互速率渲染分辨率很低的圖像。

FastNeRF 的提出受到了移動和混合現實設備上場景的啟發，并且是第一個基于 NeRF、能夠在高端消費級 GPU 上以 200Hz 渲染高真實感圖像的系統（如上圖右）。該方法的核心思想是圖啟發的分解，它允許：在空間中的每個位置緊湊地緩存一個深度輻射圖；使用光線方向有效地查詢該圖以估計渲染圖像中的像素值。

大量的實驗表明，在運行速度上，FastNeRF 是原始 NeRF 算法的 3000 倍，比加速版 NeRF 至少快一個數量級，同時又保持了視覺質量和可擴展性。

在 Realistic 360 Synthetic 數據集中 Lego 場景圖上，新方法與其他方法的速度評估對比結果。

論文地址：

https://arxiv.org/abs/2103.10380

技術細節

架構

FastNeRF 在速度上取得了巨大的突破。這讓在高端消費級硬件上以 200Hz 以上渲染高分辨率逼真圖像。

該方法的核心包括將 NeRF 分解為兩個神經網絡：一個是生成深度輻射圖的位置依賴網絡；另一個是生成權重的方向依賴網絡。權重的內積和深度輻射圖用于預估場景中特定位置從特定方向觀察所呈現的顏色。FastNeRF 架構可以被高效緩存，在保持 NeRF 的視覺質量的同時，顯著提升了測試時間效率。

下圖 2 展示了 NeRF 和 FastNeRF 網絡架構的比較：

圖 2：左：NeRF 神經網絡架構。(x, y, z)代表輸入樣例位置，(θ, φ)代表光線方向，(r, g, b, σ)是輸出顏色和透明度值。右：FastNeRF 架構將同一任務分為兩個適合緩存的神經網絡。位置依賴網絡 F_pos 輸出一張深度輻射圖(u, v, w)，其中包含 D 個分量。而 F_dir 在輸入光線方向時，輸出分量的權重(β_1, . . . , β_D)。

實現

訓練 FastNeRF 和訓練 NeRF 一樣。研究者分別使用 8 層和 4 層的 MLP 建模 FastNeRF 的 F_pos 和 F_view，并將位置編碼用于輸入。

在測試階段，FastNeRF 和 NeRF 都將一組相機參數作為輸入。這些參數用于為輸出中的每個像素生成光線，然后沿著每條光線生成大量樣本并進行集成。FastNeRF 能夠使用其神經網絡表征來執行，當進行緩存時，性能會大幅度提升。

實驗結果

該研究在 NeRF 論文中使用的 Realistic 360 Synthetic 和 Local Light Field Fusion（LLFF）數據集上進行了定量和定性評估。NeRF 合成數據集由復雜對象的 360 度視圖組成，而 LLFF 數據集由前向場景組成，圖像較少。在所有與 NeRF 的比較中，該研究均使用與 NeRF 論文中相同的訓練參數。

下面來看一下實驗結果。如下圖 4 所示，FastNeRF 與 NeRF 在使用 8 個分量的 800^2 像素的 [25] 數據集上的定性比較。小型緩存是指我們的方法緩存在 2563，而大型緩存是在 7683。更改緩存大小可實現計算和內存 trading，以達到類似于傳統計算機圖形中的細節級別（LOD）的圖像質量。

如下圖 5 所示，在使用 6 種因子、504 × 378 像素的數據集上，新方法與 NeRF 的定量對比結果：

下表 1 中，研究者提供了不緩存網格和以高分辨率緩存時，FastNeRF 與 NeRF 在三種度量（PSNR、SSIM、LPIPS）上的對比，并給出了存在緩存時新方法的平均速度。

下表 2 為該方法與 NeRF 的速度比較。椅子（Chair）和樂高（Lego）的場景是以 800^2 的分辨率渲染的。犀牛角（Horns）和葉子（Leaves）場景圖則是以 504 × 378 分辨率渲染的。該方法在存在緩存時速度沒有低于 100FPS，并且經常會更快。

下表 3 為分量數量和網格分辨率對緩存輪船（ship）場景所需 PSNR 和內存的影響。注意到有多種因素都能夠增加網格稀疏性。該研究發現 8 或 6 個分量是一種合理的折衷方案。

下圖 6 為使用結合變形場網絡的 FastNeRF 渲染的人臉圖像。使用 FastNeRF 可以讓人臉表情圖像的渲染速度達到 30FPS。

????

現在，在「知乎」也能找到我們了

進入知乎首頁搜索「PaperWeekly」

點擊「關注」訂閱我們的專欄吧

關于PaperWeekly

PaperWeekly 是一個推薦、解讀、討論、報道人工智能前沿論文成果的學術平臺。如果你研究或從事 AI 領域，歡迎在公眾號后臺點擊「交流群」，小助手將把你帶入 PaperWeekly 的交流群里。

總結

以上是生活随笔為你收集整理的消费级GPU、速度提升3000倍，微软FastNeRF实现200FPS高保真神经渲染的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。