點擊上方“3D視覺工坊”，選擇“星標”

干貨第一時間送達

文章導讀

本文我們從泊車場景的感知需求出發探討一些算法之外的東西，內容有些瑣碎，聊點泊車感知的圖像形式，感知層面的行泊一體化，相機選型中要注意哪些參數等。

1

前情回顧

上一篇我們聊了自動泊車功能中車位線識別的一些數據及算法，但是從數據的角度來說很多時候算法工程師需要用相機模組采集真實場景的圖像而不是直接購買第三方或者下載開源數據集做訓練。那么從數據源頭出發我們需要根據算法的輸入形式和感知的需求提出技術指標，篩選Sensor和鏡頭模組甚至進行定制化業務。

2

泊車感知的輸入形式？

在目前L2~L4的方案中，攝像頭作為核心傳感器通常部署在車輛周圍一周，甚至能有10多個攝像頭配合感知周圍環境。不同位置的攝像頭用處也不同，前視+周視相機往往用于行車感知；魚眼相機往往用于360環視和泊車感知；車內相機往往用于駕駛員監控。

扯得有點遠了，回到主題我們說的是做泊車選用的攝像頭問題。較為常規的做法是使用四顆魚眼相機環視拼接然后在鳥瞰圖上做停車位檢測，障礙物檢測等多任務：如下圖所示：

鳥瞰圖的輸入形式保留了地面線條的幾何特征，有利于車位線的檢測。但是從上圖中可以看出基于鳥瞰圖的檢測存在兩個問題：

• 感知的范圍局限在車身周圍15米以內；

• 有高度的物體投影到鳥瞰圖后形狀扭曲；

另一種做法是使用每顆魚眼相機輸出的原始視圖獨立做感知，當然我們可以拿未做畸變校正的數據作為輸入，也可以使用畸變校正后的數據作為輸入。如下圖所示：

通過原始視圖可以看出車輛，樹木等障礙物仍然保持物體較真實的特征，并且從圖像中能夠看到較遠處的物體；但是地面的車位線，車道線等標志在魚眼相機中無法維持直線等幾何形態，給檢測增加了一定難度。

從上面兩種圖像的輸入形式對比出發，基于拼接的鳥瞰圖適合做車位線檢測，基于原始視圖適合做障礙物檢測，所以大多數做泊車感知時偏向于拆分成兩個網絡分別處理不同的任務。這種類似于松耦合的方案，兩個不同的任務放在不同的網絡中獨立運算，然后將輸出的感知結果進行過濾合并。

3

如何減少傳感器的數量

由于傳感器類型的不同，行車的感知和泊車的感知一般是分開來做的。但是從傳感器簡化的角度，行泊一體化將是未來趨勢，那么勢必就要考慮魚眼和周視相機是否能統一的問題。

假如把周視廣角相機和環視魚眼相機合二為一了，接下來就是這些問題了：

• 需要幾顆攝像頭，安裝在什么位置？

• 需要多大的視場角覆蓋車身周圍的環境？

• 需要多大的分辨率用于檢測遠中近的物體？

• 高分辨率的數據ISP能否處理，算法壓力如何？

  ........

從硬件的角度可以定制傳感器既具有魚眼的超大FOV，又具有周視相機相對較高的PPD，能夠兼顧80米甚至更遠的障礙物。好奇的小伙伴肯定會問，焦距和視場角不是相互制約的嗎？如下圖所示：焦距越小，視場角越大。

但是擋不住模組廠商定制化業務的強大，只要有需求就有市場，有不少廠商把前視的多目攝像頭整合在一個模組中用于感知。

從算法的角度需要考慮把周視相機做的的物體檢測等功能和環視拼接后做的車位線檢測等功能合并，這就回到上一小節提到的感知算法的圖像輸入形式了。功能上來說肯定是怎么做精度高就怎么來，分開多個網絡各司其職完成任務，但是如果能統一輸入形式，用一個模型多任務的處理所有任務，既簡化了圖像鏈路流程，又復用了一部分特征提取環節，小編覺得將是一個趨勢，推薦都在原始視圖上做感知功能，因為如果將一個障礙物檢測的任務放在鳥瞰圖上進行，那么越遠處的立體物體扭曲就會越大。如圖所示，在方圓5米內的車輛已然變形，何況60米處的障礙物。

4

影響攝像頭性能的參數有哪些？

算法工程師需要根據功能需求提供技術要求給供應商選擇合適的Sensor及鏡頭模組。那么有幾個最常見的參數我們必須的了解：

分辨率：談到攝像頭，我們說的最多的就是分辨率是多少！通俗點說分辨率就是圖像的大小，一般會用圖像水平方向的像素點數 × 圖像垂直方向的像素點數計算。比如業界說的標清的分辨率就是1280×720，也叫720P；高清的分辨率就是1920×1080，也叫1080P。

所以圖像的分辨率越高，包含的像素越多，畫面看起來就越清晰。描述分辨率的單位有以下幾種：

• dpi（點每英寸）

• lpi（線每英寸）

• ppi（像素每英寸）

• ppd（像素每度）

其中ppd是算法工程師接觸較多的一個指標，指視場角中的平均每 1° 夾角內填充的像素點的數量。如下圖所示（圖片來自于網絡）：

人眼觀察周圍環境時水平FOV是210°，垂直FOV是100°，當我們看手機時一般距離30~40cm，假設1°里面占據60個像素時，人眼是無法分辨像素顆粒度的。所以在VR等消費電子行業比較流行的說法是將60ppd的圖像稱為視網膜分辨率。

那么像素顆粒度是什么感覺？看看下圖體會一下：

幀率：這是另一個常用的參數指標，一般指攝像頭在某種色彩空間中最大分辨率下能夠支持的最高視頻捕獲能力。

對于人眼來說，一般運動場景下能到達15fps的幀率已經是連續運動的效果了；但是對于感知算法在高速場景下還是需要攝像機滿足30fps及以上的幀率。

相機的各個參數之間都有其關聯性，比如上面說的ppd就和分辨率及視場角密切相關。那么幀率與分辨率和視場角有沒有什么關系呢？

為了提高幀率，首先我們會考慮是否可以縮小視場角，如若不行，是否可以減少分辨率。在很多鏡頭的datasheet中會出現pixel binning mode。分辨率的下采樣模式其實有兩種：

• Binning Mode

• Skipping Mode

Binning Mode是將相鄰的相同顏色單位電荷相加后輸出一個信號。采用這種電荷合并的方式可以提供暗處對光感應的靈敏度。如下圖所示（將四個相同顏色的B合并成Bs，其他雷同）：

Skipping Mode是刪除相鄰的行列，起到隔行列抽樣的效果。如下圖所示：

動態范圍：指圖像最亮和最暗部分的相對比值。當在強光源照射下的高亮度區域及陰影、逆光等相對亮度較低的區域在圖像中同時存在時，攝像機輸出的圖像會出現明亮區域因曝光過度成為白色，而黑暗區域因曝光不足成為黑色，嚴重影響圖像質量。如果Sensor內的HDR達到一定的DB后，即可緩解此類情況。如下圖所示：

還有好多比較重要的參數就不一一列舉了，比如MTF：即調制傳遞函數，用于描述鏡頭的性能。

Distortion：物體通過光學系統后實際像高與理想像高的差值，離光軸越遠的點畸變越大。

RI：即相對照度，用于描述光學系統成像面均衡性。

SNR：即信噪比，用于描述成像的抗干擾能力。

感光部件：CCD或者CMOS兩種；

濾光片類型：RGGB、RCCB、RCCC等

這兩個參數在之前的一篇文章里小編簡單介紹過。

5

鏡頭的定制原則

首先考慮一下人是如何觀察周圍事物的，人的視力分為中心視力和周邊視力：

• 中心視力較為敏銳，在中央處非常小的區域內，集中了絕大多數的視錐細胞，負責顏色和細節的感知，只有在這一小塊區域，人們才能真正看清楚東西的細節和色彩，但需要較亮的光線下才起作用；

• 周邊視力相對不敏銳，主要是視桿細胞，負責探知微弱光線，暗視下起主要作用。

在AI領域，攝像頭一直被作為眼睛觀察周圍事物，所以從仿生學角度，也應該對鏡頭做相應定制化設計。當然有的同學會說，既然是物理元器件就可以人工堆性能，保持視場角不變的情況下，不斷增加圖像分辨率是否就可以了？

那么就存在分辨率過高，會導致圖像文件太大、傳輸慢、耗流量、網速低的時候顯示不出來等等問題，高分辨率可能會大大降低傳輸和運算速度，而這將是一個比“提高幾乎看不出來的區別的細節”更嚴重的問題。

鏡頭的定制原則可以參考ADAS行業前視多目相機的目的，通常配一個HFOV~30°的長焦遠視攝像頭，一個中距離HFOV~52°主攝像頭，一個近距離HFOV~120°的短焦廣角攝像頭。如果定制一款攝像頭將不同角度內分布不同的數量的像素點是否可以將上述三目攝像機統一呢！根據需求測試測試PPD吧！

本文僅做學術分享，如有侵權，請聯系刪文。

下載1

在「3D視覺工坊」公眾號后臺回復：3D視覺，即可下載 3D視覺相關資料干貨，涉及相機標定、三維重建、立體視覺、SLAM、深度學習、點云后處理、多視圖幾何等方向。

下載2

在「3D視覺工坊」公眾號后臺回復：3D視覺github資源匯總，即可下載包括結構光、標定源碼、缺陷檢測源碼、深度估計與深度補全源碼、點云處理相關源碼、立體匹配源碼、單目、雙目3D檢測、基于點云的3D檢測、6D姿態估計匯總等。

下載3

在「3D視覺工坊」公眾號后臺回復：相機標定，即可下載獨家相機標定學習課件與視頻網址；后臺回復：立體匹配，即可下載獨家立體匹配學習課件與視頻網址。

重磅！3DCVer-學術論文寫作投稿?交流群已成立

掃碼添加小助手微信，可申請加入3D視覺工坊-學術論文寫作與投稿?微信交流群，旨在交流頂會、頂刊、SCI、EI等寫作與投稿事宜。

同時也可申請加入我們的細分方向交流群，目前主要有3D視覺、CV&深度學習、SLAM、三維重建、點云后處理、自動駕駛、多傳感器融合、CV入門、三維測量、VR/AR、3D人臉識別、醫療影像、缺陷檢測、行人重識別、目標跟蹤、視覺產品落地、視覺競賽、車牌識別、硬件選型、學術交流、求職交流、ORB-SLAM系列源碼交流、深度估計等微信群。

一定要備注：研究方向+學校/公司+昵稱，例如：”3D視覺?+ 上海交大 + 靜靜“。請按照格式備注，可快速被通過且邀請進群。原創投稿也請聯系。

▲長按加微信群或投稿

▲長按關注公眾號

3D視覺從入門到精通知識星球：針對3D視覺領域的視頻課程（三維重建系列、三維點云系列、結構光系列、手眼標定、相機標定、orb-slam3等視頻課程）、知識點匯總、入門進階學習路線、最新paper分享、疑問解答五個方面進行深耕，更有各類大廠的算法工程人員進行技術指導。與此同時，星球將聯合知名企業發布3D視覺相關算法開發崗位以及項目對接信息，打造成集技術與就業為一體的鐵桿粉絲聚集區，近2000星球成員為創造更好的AI世界共同進步，知識星球入口：

學習3D視覺核心技術，掃描查看介紹，3天內無條件退款

?圈里有高質量教程資料、可答疑解惑、助你高效解決問題

覺得有用，麻煩給個贊和在看~??

總結

以上是生活随笔為你收集整理的一文详解泊车感知的摄像头需求的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。