特斯拉“純視覺路線”能去掉ISP嗎？
對特斯拉死磕的“純視覺路線”，持質(zhì)疑態(tài)度的。質(zhì)疑的點(diǎn)在于：算法的進(jìn)步，能彌補(bǔ)攝像頭物理性能的局限性嗎？比如，視覺算法足夠牛逼時(shí)，攝像頭就有測距能力了？晚上就能看見了？
前一個(gè)疑問，在2021年7月份被打消——當(dāng)時(shí)，特斯拉被曝已開發(fā)出“純視覺測距”技術(shù)。而后一個(gè)疑問，則持續(xù)存在。如果把攝像頭類比為人眼、把視覺算法類比為人的大腦中“跟眼睛配合的那一部分功能”，“視覺算法足夠牛逼時(shí)，就可以不需要激光雷達(dá)”這種觀點(diǎn)就相當(dāng)于說“只要我的腦子足夠聰明，眼睛高度近視也沒關(guān)系”。馬斯克提到的HW 4.0將“干掉ISP”的計(jì)劃，接下來特斯拉全車攝像頭的原始數(shù)據(jù)不會(huì)再經(jīng)過 ISP 的處理，直接輸入 FSD Beta 的 NN 推理，這將讓攝像頭變得超緊急強(qiáng)大。
一． 何為ISP？
ISP 的全稱 Image Signal Processor，即圖像信號處理器，是車載攝像頭的重要構(gòu)成組件，主要作用是對前端圖像傳感器CMOS輸出的信號進(jìn)行運(yùn)算處理，把原始數(shù)據(jù)“翻譯”成人眼可以看懂的圖像，只有依賴于ISP，駕駛員才能借助攝像頭“看”到現(xiàn)場細(xì)節(jié)。
基于第一性原理，自動(dòng)駕駛公司也用ISP，主要是根據(jù)周圍環(huán)境的實(shí)際情況對攝像頭數(shù)據(jù)進(jìn)行白平衡、動(dòng)態(tài)范圍調(diào)整、濾波等操作，以獲得最佳質(zhì)量的圖像。例如，調(diào)節(jié)曝光以適應(yīng)明暗變化，調(diào)節(jié)焦距以專注在不同距離的物體等等，盡量地讓相機(jī)性能接近人眼。
(圖為特斯拉的FSD芯片) 不過，讓相機(jī)“盡量接近人眼”顯然還無法滿足自動(dòng)駕駛的需求——算法需要攝像頭在強(qiáng)光及弱光等人眼也“失靈”的場合下也能正常工作。為了實(shí)現(xiàn)這一目標(biāo)，有的自動(dòng)駕駛公司不得不專門定制能增強(qiáng)攝像頭在強(qiáng)光、弱光及干擾情況下性能的ISP。
2020年4月8日，阿里達(dá)摩院宣布依托其獨(dú)有的3D降噪和圖像增強(qiáng)算法自主研發(fā)出用于車載攝像頭的ISP，保障自動(dòng)駕駛車輛在夜間擁有更好的“視力”，“看”得更清晰。
據(jù)達(dá)摩院自動(dòng)駕駛實(shí)驗(yàn)室的路測結(jié)果顯示，使用該ISP，車載攝像頭在夜間這個(gè)最富有挑戰(zhàn)的場景下，圖像物體檢測識別能力相比業(yè)內(nèi)主流處理器有10%以上的提升，原本模糊不清的標(biāo)注物也得以清晰識別。
二．干掉ISP的動(dòng)機(jī)及“可行性”
然而，ISP的設(shè)計(jì)初衷是為了在多變的外部環(huán)境下獲得一張“好看”的圖片，但這究竟是不是自動(dòng)駕駛最需要的圖片形式，業(yè)界尚無定論。按馬斯克Elon 的說法，神經(jīng)網(wǎng)絡(luò)不需要漂亮的圖片，需要的是傳感器直接獲取的原始數(shù)據(jù)、是原始光子計(jì)數(shù)（Raw photon counts）。
在馬斯克看來，無論ISP采用何種處理方法，總有一部分原始光子在通過鏡頭到達(dá)CMOS、轉(zhuǎn)換成可見光子的過程中會(huì)被丟失。
關(guān)于原始光子丟失與未丟失的差別，摯途首席科學(xué)家黃浴說：“光子轉(zhuǎn)化成電子信號時(shí)候，確實(shí)有噪聲被抑制了，更不用說ISP對原來的電信號做了很多處理。”
車右智能聯(lián)合創(chuàng)始人在《From photon to control——從光子到控制，Tesla的技術(shù)口味越來越重》一文中拿人眼對感知信息的處理做類比，做了比較詳盡的解釋，在此摘要如下：

（圖片摘自公眾號“車右智能”）
如上圖所示，人類的視覺系統(tǒng)和電子成像系統(tǒng)在邏輯上是完全一致的。視網(wǎng)膜顏色和像素矩陣其實(shí)是更可以代表外部客觀世界的信息，真正的人類感知顏色，需要大腦（等同于ISP和更高層的后端處理）的參與的。

（圖片摘自公眾號“車右智能”）
上圖左側(cè)是一幅標(biāo)準(zhǔn)的帶有飽和度漸變和強(qiáng)度漸變的顏色圖，右側(cè)是其對應(yīng)的帶元顏色的原始圖幅。對比可見，以人類視覺感官為核心而設(shè)計(jì)的成像系統(tǒng)會(huì)給我們提供愉悅和符合人類主觀的圖像信息，卻未必全真反映客觀的真實(shí)世界。馬斯克認(rèn)為，為了做得“更好看”、更適合“給人看”，很多原本很有用的數(shù)據(jù)卻在ISP負(fù)責(zé)的“后期處理”環(huán)節(jié)被處理掉了。但如果只是為了給機(jī)器看，這些被處理掉了的數(shù)據(jù)其實(shí)也是有用的，因此，如果“后期處理”這一步可以被省略，則有效信息量便會(huì)增加。
按于萬CTO劉煜的解釋，馬斯克的邏輯是：
1.由于有了更豐富的原始數(shù)據(jù)，未來，相機(jī)的探測范圍可能比人眼大，即光照強(qiáng)度很低或者很高的時(shí)候，我們?nèi)搜劭赡芫涂床灰娏?#xff08;因?yàn)樘诨蛘咛?#xff09;，但機(jī)器仍然可以測光子數(shù)量，因而仍然能有圖像輸出；
2.相機(jī)對光照強(qiáng)度的分辨率可能更高，即看上去很類似的兩個(gè)光點(diǎn)，人眼可能分辨不出那么細(xì)小的亮度或者顏色差別，但是機(jī)器或許可以。
某AI四小龍工程師的解釋是：好的攝像頭的動(dòng)態(tài)范圍比人眼大很多（在相對靜止?fàn)顟B(tài)下），即攝像頭能觀測到的“從最亮到最暗”的范圍，比人眼所能觀測的更寬。在極暗的條件下，人眼看不到什么東西（幾乎沒有光子），但是攝像頭的CMOS可以接收到很多光子，因而能看到黑暗狀態(tài)下的事物。
多位專家在接受《九章智駕》采訪時(shí)均表述認(rèn)可馬斯克的邏輯。
地平線BPU算法負(fù)責(zé)人羅恒解釋道：“特斯拉現(xiàn)在的數(shù)據(jù)標(biāo)注有人工標(biāo)注和機(jī)器自動(dòng)標(biāo)注兩種，其中，人工標(biāo)注其實(shí)并不全是基于當(dāng)前的圖像信息，也包含了人類對世界的知識，這種情況下，機(jī)器同樣有概率利用信息更豐富的原始數(shù)據(jù)；而機(jī)器自動(dòng)標(biāo)注是結(jié)合事后觀測、結(jié)合大量幾何分析一致性得出的，如果使用原始數(shù)據(jù)，機(jī)器有很大概率找到更多的相關(guān)性，做出更準(zhǔn)確的預(yù)測。”
除此之外，均聯(lián)智行首席架構(gòu)師汪浩偉解釋道：“特斯拉在原始圖像數(shù)據(jù)進(jìn)入DNN網(wǎng)絡(luò)前就對其做了拼合，因此，就不需要對每個(gè)攝像頭的感知結(jié)果做后處理。” 通過干掉ISP來提升攝像頭在夜間的識別能力，這看起來跟阿里達(dá)摩院自研ISP的思路是相反的啊。那么，這兩者矛盾嗎？ 據(jù)曾某自動(dòng)駕駛公司視覺算法專家解釋：兩家的訴求其實(shí)是相同的。在本質(zhì)上，無論阿里達(dá)摩院還是特斯拉，都是希望通過芯片和算法的配合來提升攝像頭的能力。
但兩者的區(qū)別在于，阿里達(dá)摩院的思路是，為了人眼能看到，對原始數(shù)據(jù)進(jìn)行了各類算法處理和增強(qiáng)；而特斯拉則是去除了算法中為了“照顧”人眼所做的那部分?jǐn)?shù)據(jù)處理，轉(zhuǎn)而開發(fā)了用于增加攝像頭在弱光下及強(qiáng)光等環(huán)境下的算法所需的數(shù)據(jù)及相應(yīng)能力。 除此之外，馬斯克還說，不經(jīng) ISP 處理可以實(shí)現(xiàn) 13 毫秒的延遲下降，因?yàn)橛?8 個(gè)攝像頭，每個(gè)攝像頭 ISP 處理會(huì)產(chǎn)生 1.5 - 1.6 毫秒的延遲。 一旦馬斯克這一設(shè)想經(jīng)過實(shí)踐驗(yàn)證是可行的，其他芯片廠商應(yīng)該也會(huì)“跟進(jìn)”。甚至，有的芯片廠商已經(jīng)在這么做了。
如安霸中國區(qū)總經(jīng)理馮羽濤1月份在接受焉知采訪時(shí)就提到：“如果客戶想把原始數(shù)據(jù)直接喂進(jìn)神經(jīng)網(wǎng)絡(luò)進(jìn)行處理，CV3 完全可以支持這種方法”。
三．攝像頭的“物理性能”也需要提升
并非所有人都完全相信馬斯克這一計(jì)劃。
某頭部Robotaxi公司技術(shù)VP說：“特斯拉說的也沒錯(cuò)，但我覺得算法的開發(fā)難度會(huì)非常大、周期會(huì)很長，然后開發(fā)的時(shí)間可能會(huì)非常久。如果加個(gè)激光雷達(dá)，首先可以直接把三維的問題解決了，拿純視覺去構(gòu)建三維當(dāng)然也可以，但要消耗很多算力。” 車右智能聯(lián)合創(chuàng)始人認(rèn)為，馬斯克是個(gè)“煽動(dòng)大師”，“宣傳方式是把你搞暈，不由自主地產(chǎn)生技術(shù)崇拜”。
“有的圖像學(xué)專家認(rèn)為放棄所有ISP級別的后處理是不現(xiàn)實(shí)的，比如獲取強(qiáng)度和顏色的debayer圖像，會(huì)給后續(xù)的NN識別head造成很多困難。”在《車右智能》最近的一篇文章中提到，原始數(shù)據(jù)染過ISP直接進(jìn)入神經(jīng)網(wǎng)絡(luò)的方案在哪種場景下可行？是可以兼容特斯拉現(xiàn)有的攝像頭還是需要更好的視覺傳感器？是否存在于FSD beta全部的NN head任務(wù)還是局部NN head任務(wù)？這都是不確定的答案。 我們再回頭筆者開頭提出的那個(gè)問題：視覺算法的提升，能突破攝像頭的物理性能本身的瓶頸嗎？ 某視覺算法背景的Robotaxi公司CEO說：“逆光或者是車輛從隧道里出來突然面對強(qiáng)光時(shí)的感知，人眼很難解決，攝像頭也不行，這個(gè)時(shí)候，就必須要有激光雷達(dá)了。”劉煜認(rèn)為，理論上，如果你不計(jì)成本，可以造一個(gè)攝像頭，性能是可以超過人眼的，“但我們現(xiàn)在這些車上用的這種低成本的攝像頭，似乎還遠(yuǎn)沒有達(dá)到這個(gè)性能級別。”言外之意，解決攝像頭在弱光或強(qiáng)光下的感知，并不能僅靠視覺算法的提升，還得圍繞著攝像頭的物理性能“做文章”。
如攝像頭若要在夜間探測目標(biāo)，就無法通過可見光成像，而是得基于紅外熱成像原理來做（夜視攝像頭）。
某“AI四小龍”工程師認(rèn)為，photon to control非常有可能意味著特斯拉跟HW 4.0芯片搭配的攝像頭會(huì)升級成多光譜。
這位工程師說：當(dāng)前，行車攝像頭都將非可見光部分濾去，但現(xiàn)實(shí)中，物體發(fā)出的光線光譜非常廣泛，可以用來進(jìn)一步區(qū)分物體特征。比如白色的貨車和白云，在紅外波段可以被輕易區(qū)分；有行人或者大型動(dòng)物防撞，用紅外攝像頭會(huì)比較容易，因?yàn)楹銣貏?dòng)物身體發(fā)出的紅外線是很容易區(qū)分的。
《車右智能》在文章中也提到了這樣一個(gè)問題：Tesla是否會(huì)針對photon to control的概念而更新相機(jī)硬件，推出真正的光量子相機(jī)，或者還是基于現(xiàn)有的camera進(jìn)行ISP旁路？
與此同時(shí)，作者也指出，如果攝像頭硬件也要升級，“那特斯拉將不得不從頭開始完全重新訓(xùn)練其神經(jīng)網(wǎng)絡(luò)算法，因?yàn)檩斎胧侨绱说牟煌薄?此外，無論攝像頭技術(shù)如何進(jìn)步，可能都無法擺脫鳥屎、泥水等臟污的影響。 激光雷達(dá)采用的是主動(dòng)光源，先發(fā)光、再接收光，像素點(diǎn)很大，一般的臟污很難將其完全遮擋掉。據(jù)某激光雷達(dá)廠商提供的數(shù)據(jù)，在表面有臟污的情況下，其激光雷達(dá)的探測距離只衰減15%以內(nèi)；而且，有臟污的時(shí)候，系統(tǒng)會(huì)自動(dòng)發(fā)出警報(bào)。但攝像頭是被動(dòng)傳感器，每個(gè)像素點(diǎn)很小，很小的灰塵技能擋住幾十個(gè)像素，因此，在表面有臟污的時(shí)候就直接“瞎了”。
如果不能解決這個(gè)問題，那試圖通過視覺算法的進(jìn)步來省掉激光雷達(dá)的成本，豈不是個(gè)妄想？
幾點(diǎn)補(bǔ)充：
1.芯片廠商怎么設(shè)計(jì)只是問題的一個(gè)方面，但客戶如果沒能力充分利用好原始數(shù)據(jù)，他們也無法繞過ISP。
2.哪怕芯片廠商和客戶都有能力繞過ISP，在今后相當(dāng)長一段時(shí)間里，多數(shù)廠商仍然會(huì)保留ISP，一個(gè)關(guān)鍵原因在于，在L2階段，駕駛責(zé)任主體依然是人，而ISP處理后的信息顯示到屏幕上，方便交互，也可以給駕駛員“安全感”。
3.要不要繞過ISP，仍然是“純視覺派”與“激光雷達(dá)派”兩種技術(shù)路線之爭的延續(xù)，對此，上文提到的Robotaxi公司技術(shù)VP的觀點(diǎn)很有啟發(fā)性：其實(shí)純視覺方案跟激光雷達(dá)方案并不是拼“誰行誰不行”，真正拼的就是純視覺方案算法開發(fā)能開發(fā)到激光雷達(dá)方案這種水平要多長時(shí)間，以及激光雷達(dá)的成本降到跟純視覺方案成本差不多的時(shí)候需要多長時(shí)間。簡言之，是前者的技術(shù)進(jìn)步快，還是后者的成本降得更快。當(dāng)然，若日后純視覺派需要增加傳感器，而激光雷達(dá)派需要減少傳傳感器，算法受到的影響有多大、修改算法需要多長時(shí)間、成本如何，這些都是有待進(jìn)一步觀察的問題。

參考文章：
https://mp.weixin.qq.com/s/zQgzFD8fvbdzd74M_3QqfQ
馬斯克最新訪談：自動(dòng)駕駛最難的是建立向量空間，特斯拉FSD或年底達(dá)到L4|阿爾法講故事
https://mp.weixin.qq.com/s/rSrN6FV3W4GRSSkfF9K_kg
特斯拉選擇純視覺：攝像頭測距已成熟，雷達(dá)缺陷不可彌補(bǔ)
https://m.ithome.com/html/564840.htm

總結(jié)

以上是生活随笔為你收集整理的特斯拉“纯视觉路线”能去掉ISP吗？的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。