??????? 原文鏈接：http://www.csdn.net/article/2015-08-06/2825395

??????? 本文做了少量修改，僅作轉(zhuǎn)載存貯，如有疑問或版權(quán)問題，請?jiān)L問原作者或告知本人。

? ? ? ? CVPR可謂計算機(jī)視覺領(lǐng)域的奧運(yùn)會，這是vision.ai的Co-Founder，前MIT研究人員T. Malisiewicz針對CVPR'15尤其是Deep Learning的綜述文章，談到了ConvNet的Baseline，Caffe和Torch之間的分歧，ArXiv論文熱，以及百度的ImageNet違規(guī)事件等。原文標(biāo)題為：Deep down the rabbit hole: CVPR 2015 and beyond。

CVPR是主要的計算機(jī)視覺會議，可以把它看作是計算機(jī)視覺研究的奧林匹克。今年，CVPR將在我的后院舉行，離可愛的劍橋不到一英里。我很多麻麻省理工的同事都參加了，如果Google在這次CVPR?2015上有著有最好的表現(xiàn)，我也不會感到驚訝。從2004年開始，我?guī)缀鯀⒓恿嗣磕甑腃VPR，那么，讓我們來一場計算機(jī)視覺研究世界新而短暫的精彩旅行吧。

灰白陰影下的兔子洞藝術(shù)

?????? 多年來，發(fā)生了很多變化，但本質(zhì)上還是沒變。學(xué)者曾經(jīng)是最頂端的，捍衛(wèi)他們自己的大學(xué)以及發(fā)生在他們非商業(yè)研究實(shí)驗(yàn)室的令人驚嘆的事情。如今，學(xué)者仍然處于頂端，但是現(xiàn)在維護(hù)的是他們的Google、Facebook、Amazon以及?X 公司的某個附屬子公司。隨著招聘的最佳預(yù)算和以出版為導(dǎo)向的沉重企業(yè)文化，如果接下來連續(xù)幾年的大量學(xué)術(shù)外流，我也不會感到驚訝。由于CVPR只有兩周，因此Google一直在忙于制作ConvNet（卷積神經(jīng)網(wǎng)絡(luò)）藝術(shù)，同時向世界展示了如果你想做最好的深度學(xué)習(xí)研究，他們就是（合適的）王國。

?????? 僅僅是博士生和博士后的部隊(duì)并不能打敗軟件工程師和科學(xué)研究者部隊(duì)。在以前，學(xué)生在獲得計算機(jī)視覺的博士后之后通常會選擇離開學(xué)校（通常會受到一些視覺研究工作和華爾街的工作的誘惑）。現(xiàn)在，之前的博士生在大公司運(yùn)作研究實(shí)驗(yàn)室已經(jīng)緊鑼密鼓的進(jìn)入我們的視野。似乎還沒有足夠的深度專家來填補(bǔ)這個大需求。

????? 數(shù)據(jù)集通常是一件大事——請下載我們的數(shù)據(jù)！數(shù)據(jù)集依舊是件大事——但是我們抱歉告訴你，你所在大學(xué)的計算資源達(dá)不到要求（但幸運(yùn)的是，我們 X 公司總在招聘，所以來加入我們吧，讓我們一起推動研究的向前發(fā)展）。

????? 如果你想要查看個人文獻(xiàn)，我建議Andrej?Karpathy的?CVPR?2015文獻(xiàn)在線導(dǎo)航工具或者看看在計算機(jī)視覺基礎(chǔ)網(wǎng)站上的CVPR?2015文獻(xiàn)?。還有就是一個麻省理工學(xué)院的博士候選人Zoya?Bylinskii，也列出了一些有趣的CVPR?2015?的文獻(xiàn)。

ConvNet革命：一個網(wǎng)絡(luò)預(yù)訓(xùn)練

?????? 機(jī)器學(xué)習(xí)過去是王后，現(xiàn)在是國王。機(jī)器學(xué)習(xí)過去是淺顯的，但如今的學(xué)習(xí)方法如此之深，以致于圖表在單個滑動下很難擬合。研究生過去常常避開了關(guān)于Yann?LeCun的笑話，Yann?LeCun堅(jiān)持認(rèn)為機(jī)器學(xué)習(xí)在將來的某一天會做特征設(shè)計階段的工作。現(xiàn)在似乎是這種情況，當(dāng)你堅(jiān)持認(rèn)為“手工特征設(shè)計”將省掉一天時間的時候，整個視覺社區(qū)都會忽略你。Yann?LeCun做了一個主題報告，并給了它一個有趣的標(biāo)題：“深度學(xué)習(xí)怎么了？”，這表明了卷積神經(jīng)網(wǎng)絡(luò)（也叫CNNs或ConvNets）存在于CVPR的任何角落。

圖來自Karpathy的卷積神經(jīng)網(wǎng)絡(luò)教程

?????? 過去在CVPR很難發(fā)表ConvNet（卷積神經(jīng)網(wǎng)絡(luò)）研究論文，而現(xiàn)在如果你沒有對ConvNet做一個基本的比較的話，很難得到一篇CVPR文獻(xiàn)。得到一個很酷的新問題了么？哦，你沒有試一下基于ConvNet的基本方法么？很好，這說明為什么沒人關(guān)心了。

?????? 盡管如此，但這并不是機(jī)器接管了視覺科學(xué)家的工作。如今的視覺科學(xué)家更是一個應(yīng)用型機(jī)器學(xué)習(xí)黑客，而且由于強(qiáng)大的CNN主題，理解和重新實(shí)現(xiàn)如今的視覺系統(tǒng)變得更加容易。我們在CVPR上看到的在本質(zhì)上是一個類似分割和運(yùn)動的經(jīng)典問題的回訪，只是使用的是這種新的機(jī)器方法。正如Samson?Timoner在本地Boston?Vision?Meetup網(wǎng)站上概括的那樣，當(dāng)互信息變得流行，社區(qū)也隨之變得時尚——這次圍繞的是ConvNets。但這不僅是一種趨勢，非CNN（卷積神經(jīng)網(wǎng)絡(luò)）的競爭正在被摧毀。

來自Bharath?HariharanCVPR?2015的文章-在切割上使用卷積神經(jīng)網(wǎng)絡(luò)

?????? 還有很多事情等著視覺科學(xué)家去做，一個扎實(shí)的正式數(shù)學(xué)教育比其他任何都要重要。我們過去是使用梯度下降來訓(xùn)練，現(xiàn)在也是如此。就好比我們過去喝咖啡，現(xiàn)在也喝咖啡一樣。其本質(zhì)上，其實(shí)還是數(shù)學(xué)。

內(nèi)心深處的兔子洞

?????? CVPR2015讓人想起了物理學(xué)上牛頓之前的日子。許多聰明的科學(xué)家能夠使用數(shù)學(xué)來預(yù)測物體的運(yùn)動，曾經(jīng)聰明的笛卡爾教會我們?nèi)绾螌⑽覀兊奈锢硭季S考慮到坐標(biāo)系統(tǒng)中。非常清楚的是：通過卷積神經(jīng)網(wǎng)絡(luò)語言來鑄造你的計算機(jī)視覺問題，你將打敗所有用手做計算機(jī)視覺的人。我認(rèn)為 Yann?LeCun（深度學(xué)習(xí)之父其中之一）就是一個現(xiàn)代的笛卡爾，只是因?yàn)槲艺J(rèn)為開創(chuàng)性的工作是指日可待。他的ConvNets思想框架就像是一個必備的坐標(biāo)系統(tǒng)——我們可能不知道目的地像什么，但我們現(xiàn)在知道如何來繪制一張地圖。

?????? 深度網(wǎng)絡(luò)每個月都表現(xiàn)的很出色，但我仍然等待著艾薩克（牛頓）的到來，讓我們的生活更輕松。我想要一個簡化，但我并不悲觀——一個很好的原因就是會有一系列的ConvNet空間活動（以防你沒能參加CVPR?2015），所以我直言不諱：ConvNets這該死的工作！其實(shí)我只想要深度學(xué)習(xí)的F=ma公式。

計算機(jī)視覺的開源深度學(xué)習(xí)：Torch?VS?Caffe

?????? CVPR2015開始的第一天是一些優(yōu)秀的軟件教程。外面有許多優(yōu)秀的非-α深度學(xué)習(xí)軟件，并且讓每個人的生活變得容易。在CVPR上，我們既有 Torch教程也有Caffe教程。我參加了 DIY深度學(xué)習(xí)的教程，這是一個充滿Caffe的屋子——在會議開始的5分鐘前，站在房子里的參會人員只有像我這樣的懶蟲。相比之下，Caffe是更受歡迎的，但對于Torch，當(dāng)談及到一些深度學(xué)習(xí)的權(quán)威人員時（如 +Andrej?Karpathy和其他深度思維科學(xué)家），一些特定的專家小組似乎從Caffe轉(zhuǎn)移到了Torch。

?????? Caffe是在Berkeley發(fā)展起來的，有一些充滿活力的社區(qū)，與Python結(jié)合并且在大學(xué)生中似乎相當(dāng)流行。Trevor?Darrell教授甚至找了一些博士后來幫助Caffe發(fā)展。如果我再年輕幾歲并且剛獲得博士學(xué)位，那么我一定會申請的。

????? Torch并沒有跟隨Python的潮流，它是基于Lua的。對于解釋器沒有必要像Matlab或者Python那樣，Lua會給你神奇的控制臺。Torch被Facebook人工智能研究實(shí)驗(yàn)室和位于倫敦的谷歌DeepMind大量使用。對于那些害怕類似于Lua這樣新語言的人，在此不用擔(dān)心——如果你已經(jīng)涉足Python，JavaScript或者M(jìn)atlab的話，那么你會感到Lua語言學(xué)起來特別“輕松”。?

?????? 現(xiàn)在，越來越清晰的是：深度學(xué)習(xí)的未來主要是來自像Caffe或Torch那樣有自給自足的軟件包，而不是像OpenCV或Matlab那樣的處在生死邊緣上的全能工具。當(dāng)你在OpenCV上分享創(chuàng)作，你最終會分享源代碼，但有了深度學(xué)習(xí)工具包，你最終提供的是你的網(wǎng)絡(luò)預(yù)訓(xùn)練。對于你的計算機(jī)視覺管道，你不必再考慮20個“小”算法的組合——你只要考慮你想要的流行網(wǎng)絡(luò)架構(gòu)，然后就是數(shù)據(jù)集。如果你有GPU和龐大的數(shù)據(jù)，你可以做完整的端到端的訓(xùn)練。如果你的小數(shù)據(jù)集或者中等數(shù)據(jù)集，你可以微調(diào)最后幾層。你甚至可以在最后一層訓(xùn)的頂部訓(xùn)練一個線性分類器，如果你怕麻煩——那么你要做的只是超越SIFT（尺度不變特征變換算法），HOG（方向梯度直方圖?），GIST(通用搜索樹)以及所有在計算機(jī)視覺過去二十年里慶祝的算法。?

????? 在CVPR?2015上使用ConvNets的方式，使我感覺到我們正在接近某個大的東西。但是在我們撿到黃金之前，ConvNets仍然像是一個微積分的影子，只是“希望”會得到更大，更深層次的東西和更有意義的事。我認(rèn)為，對于ConvNets的調(diào)查可視化算法的研究表明，即使網(wǎng)絡(luò)建筑師也不能完全確定幕后發(fā)生的事情。

嵌入大腦的視頻游戲引擎：面向機(jī)器智能的不同路徑

????? 在CVPR?2015會議的最后一天的現(xiàn)場分析研討會上， Josh?Tenenbaum?給嵌入大腦的視頻游戲引擎賦予了一個誘人的討論標(biāo)題。你可以在一篇 短篇《科學(xué)美國人》文章中讀到他觀點(diǎn)的概括。盡管他的說話風(fēng)格看起來似乎不符合CVPR的標(biāo)準(zhǔn)，但它卻是典型的Tenenbaum。在他的世界里，沒有基準(zhǔn)可以超越，沒有曲線可以擬合陰影，如果你讓我把LeCun和笛卡爾作比較，那么LeCun在某種意義上算是教授吧。Tenenbaum可能是現(xiàn)代的亞里士多德。正如 Jianxiong Xiao教授全面的介紹Josh那樣，他或許是對的——這是你能找到的最聰明的揚(yáng)聲器之一。它在一秒內(nèi)能說100個單詞，你會覺得你的大腦在放大你聽到的。

????? Josh的一個主要研究主題是基于圖像識別陰影的超越。Josh的所有的工作都是關(guān)于在這個世界上建立思維模型，而他的工作確實(shí)可以被看作是綜合分析。在他模型的內(nèi)部主要是一些類似于視頻游戲引擎的東西，而他展示了許多令人信服的相關(guān)實(shí)例，這些實(shí)例對于人類來說很是方便，但對于今天數(shù)據(jù)驅(qū)動的ConvNets而言，幾乎是不可能的。在這個夏天，如果他的學(xué)生在谷歌DeepMind工作，那么也不必感到驚訝。

?????? 幾年前，概率圖模型（圖論和概率方法的合并）那是風(fēng)靡一時。Josh給了我們概率編程的味道，雖然我們還沒有看到新的方法來主導(dǎo)計算機(jī)視覺研究世界，但請睜大你的眼睛。他提到了一篇最近發(fā)表在Nature上的文章（下面引用的），來自另一個受人尊敬的機(jī)器智能研究，這應(yīng)該會引領(lǐng)潮流興奮相當(dāng)長一段時日。請看看下面Julia代碼中尾部的一部分：

?????? Probabilistic?machine?learning?and?artificial?intelligence.Zoubin?Ghahramani.?Nature?521,?452–459?(28?May?2015)?doi:10.1038/nature14541

??????? 下面來看一看一些教授。Tenenbaum的想法正在行動中，看看下面的這篇CVPR?2015的文章，標(biāo)題為：一種面向場景感知的概率編程語言。恭喜Tejas?D.?Kulkarni，第一作者，一個MIT的學(xué)生，因?yàn)檫@個令人興奮的新作而獲得最佳論文榮譽(yù)獎。有了谷歌DeepMind，你會有一個有趣的夏天。

Picture: A Probabilistic Programming Language for Scene Perception

深度場景CNNs物體檢測器

?????? 在現(xiàn)場分析研討會上有著大量的好的演講報告，在另一次演講中，真正突出的是一個新的大型數(shù)據(jù)集（麻省理工學(xué)院的地方）和當(dāng)你使用場景與物體來訓(xùn)練發(fā)生什么時的一個徹底調(diào)查。

???? 來自于麻省理工學(xué)院的Antonio?Torralba做了一個關(guān)于地點(diǎn)數(shù)據(jù)庫的討論，以及當(dāng)你做以物體為中心的數(shù)據(jù)庫（如ImageNet）與以場景為重的數(shù)據(jù)庫（如麻省理工學(xué)院的地點(diǎn)）訓(xùn)練時能學(xué)到什么的一個深層分析。你可以查看“目標(biāo)探測器浮現(xiàn)”幻燈片或arXiv論文來學(xué)習(xí)更多的指示。這些都來自即將到來的研究員Bolei Zhou的出色工作！

CVPR無意之事：ArXiv出版狂熱?&?百度慘敗

?????? 從長遠(yuǎn)來看，最近快速推到 ArXiv.org的預(yù)印本熱潮對學(xué)者和商業(yè)研究者老說貢獻(xiàn)都很大。當(dāng)你有大量的專家以最快的速度探索思想，然后等待6個月直到下一次回憶的最后截止日期，這樣是沒有意義的。唯一的缺點(diǎn)就是，它使新發(fā)布的CVPR論文過時了。這就像在ArXiv發(fā)布文章的那一天每個人都已經(jīng)詳細(xì)精讀了這個好東西。但你得到了你的“想法主張”而不用擔(dān)心一個不適當(dāng)?shù)脑u審影響你。雙盲評審，將準(zhǔn)備進(jìn)行一個深度改造。我們現(xiàn)在知道誰在做什么，特別是在發(fā)表時間之前。對于學(xué)生，發(fā)布或退稿僅僅得到的是一個結(jié)果。ARxIV狂熱是一件好事還是壞事取決于你，可能更多的是你的資歷比其它什么都重要。在接下來的日子里，CV的各種聲音，肯定會越來越響，并會持續(xù)如此。

?????? 外行人僅僅是閱讀人工智能標(biāo)題的話，百度作弊丑聞似乎是個大新聞，但在計算機(jī)視覺上，在測試集上的過擬合并不是一件新穎的事情。這篇論文最后被駁回了，研究生通常多次在測試集上評估他們的算法，而真相就是人無完人。當(dāng)它對#1很重要的時候，不要對你的比較變得不合適而感到驚訝。重要的是意識到地面破碎研究和小百分比追逐的不同。我們都會犯錯，在重大的壓力下，我們都會表現(xiàn)出自己的弱點(diǎn)。所以，讓我們一笑置之，坦然面對吧。讓我們招聘最好的，鼓勵真正偉大的研究并且停止追逐百分比。事實(shí)上，很多的頂級性能方法都是相似的。

總結(jié)

???????? CVPR的參會者在持續(xù)的增加。我們現(xiàn)在有博士生，創(chuàng)業(yè)者，教授。招聘人員，大公司，甚至是來學(xué)生，來展示自己的成果。CVPR會成為新的SIGGRAPH（美國計算機(jī)協(xié)會）么？

來自Changbo?Hu繪制的CVPR參會者圖片

?????? ConvNets留在了這里，但是如果我們想要讓ConvNets能超越陰影的計算，那么還有大量的工作需要完成。Geoff?Hinton的capsules在深夜的討論中不斷出現(xiàn)。“我想使用神經(jīng)元組來取代非結(jié)構(gòu)化層，我稱之為‘capsules’，它更像一個皮層柱”——Geoff?Hinton的新聞網(wǎng)站AMA。很多人（像來自CMU的Abhinav?Gupta教授）也在討論非監(jiān)督學(xué)習(xí)CNN（卷積神經(jīng)網(wǎng)絡(luò)）的訓(xùn)練，我預(yù)測，在明年的CVPR中，從沒有注釋的視頻學(xué)習(xí)大型卷積神經(jīng)網(wǎng)絡(luò)應(yīng)該是一個大的方向。?

最重要的是，當(dāng)深度學(xué)習(xí)的巨頭去提他們最喜歡的方法有錯誤時，我只期待有最好的研究也會隨之而來。快樂的計算吧，并記住，永遠(yuǎn)不要停止學(xué)習(xí)。

英文原文：Deep down the rabbit hole: CVPR 2015 and beyond（譯者/劉帝偉 審校/劉翔宇、朱正貴 責(zé)編/周建丁）

譯者簡介：?劉帝偉，中南大學(xué)軟件學(xué)院在讀研究生，關(guān)注機(jī)器學(xué)習(xí)、數(shù)據(jù)挖掘及生物信息領(lǐng)域。

總結(jié)

以上是生活随笔為你收集整理的CVPR2015深度学习回顾的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯，歡迎將生活随笔推薦給好友。