總結一下個人認為2020年人工智能領域稱得上突破的一些工作，涉及到DETR、ViT、BYOL、NeRF、GPT-3和AlphaFold2六個王炸。

DETR

DETR是首個將完整的Transformer架構應用于計算機視覺領域的工作，開辟了計算機視覺大規模使用Transformer的新紀元。另外，DETR將目標檢測問題當成集合預測問題，可以一次并行預測出所有目標框，引領了NMS-Free新方向。

ViT

ViT更為巧妙的將輸入圖片看成是16x16的patches序列，直接使用Transformer Encoder來做patches序列的特征抽取，使得ViT可以作為一個標準的特征提取器，方便的應用于計算機視覺下游任務(最近基于ViT的魔改少說幾百篇？？？)

BYOL

自從MoCo橫空出世以來，Self-Supervised領域再度火熱，但是BYOL之前的方法仍然遵循著正樣本對拉近，負樣本對排斥的原則。然而BYOL天馬行空的將負樣本排斥原則舍棄，只遵循正樣本對拉近原則，并且取得了非常好的效果。這是什么概念，這就是Self-Supervised的周伯通啊，左手和右手互博，不需要和別人實戰就能練成絕世神功。

NeRF

NeRF，只需要輸入少量靜態圖片，就能做到多視角的逼真3D效果。

看一下demo效果！

GPT-3

Money is all you need！OpenAI的GPT-3將訓練的參數量堆到了1750億，數據集總量是之前發布的GPT-2的116倍，是迄今為止最大的訓練模型(2021年1月被Switch Transformer刷新)。

AlphaFold2

蛋白質結構預測問題是結構生物學一個里程碑式的問題，每兩年，人類會組織一場蛋白質結構預測大賽。CASP14屆Alphafold2血虐其他算法。

這個圖什么概念？

CASP用來衡量預測準確性的主要指標是 GDT，范圍為0-100。GDT可以近似地認為是和實驗結構相比，成功預測在正確位置上的比例。70分就是達到了同源建模的精度，非正式的說，大約90 分可以和實驗結果相競爭！

這次AlphaFold2直接把總分干到了92.4，和實驗的誤差在1.6，即使是在最難的沒有同源模板的蛋白質上面，這個分數也達到了了恐怖的87.0 。

最后

前4個工作對于后面Transformer、Self-Supervised和3D視覺領域有著深遠的影響，會一定程度上指引NLP和CV領域的發展。后兩個工作可能屬于行業顛覆型的工作，經久不衰。

Reference

[1] End-to-End Object Detection with Transformers

[2] AN IMAGE IS WORTH 16X16 WORDS: TRANSFORMERS FOR IMAGE RECOGNITION AT SCALE

[3] Bootstrap Your Own Latent A New Approach to Self-Supervised Learning

[4] NeRF: Representing Scenes as Neural Radiance Fields for View Synthesis

[5] Language Models are Few-Shot Learners

[6] AlphaFold: a solution to a 50-year-old grand challenge in biology | DeepMind

往期精彩回顧適合初學者入門人工智能的路線及資料下載機器學習及深度學習筆記等資料打印機器學習在線手冊深度學習筆記專輯《統計學習方法》的代碼復現專輯 AI基礎下載機器學習的數學基礎專輯溫州大學《機器學習課程》視頻 本站qq群851320808，加入微信群請掃碼： 與50位技術專家面對面20年技術見證，附贈技術全景圖

總結

以上是生活随笔為你收集整理的2020年人工智能领域突破性工作的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。