arXiv 2021《Transformer in Transformer》论文笔记
生活随笔
收集整理的這篇文章主要介紹了
arXiv 2021《Transformer in Transformer》论文笔记
小編覺得挺不錯的,現在分享給大家,幫大家做個參考.
目錄
- 簡介
- 動機
- 方法
- 實驗
簡介
本文出自華為諾亞方舟,作者是韓凱。
文章鏈接
動機
本文動機是,在ViT基礎上,編碼patch內的pixel之間的結構信息。
方法
使用兩個transformer,外transformer負責編碼大小為16×1616 \times 1616×16的patch之間的關系,內transformer負責編碼大小為4×44 \times 44×4的super-pixel之間的關系。
實驗
本文方法的實驗結果也很好。
總結
以上是生活随笔為你收集整理的arXiv 2021《Transformer in Transformer》论文笔记的全部內容,希望文章能夠幫你解決所遇到的問題。
- 上一篇: 2021.02.23 Visual QA
- 下一篇: EMNLP 2020 《MUTANT: