來源：機(jī)器之心 本文約1700字，建議閱讀5分鐘繼imagen后，谷歌又推出了文本，如想生成模擬Parti。

繼 Imagen 后，谷歌又推出了文本 - 圖像生成模型 Parti。

你見過一只小狗破殼而出嗎？或者用飛艇俯瞰蒸汽朋克中的城市？又或者兩個(gè)機(jī)器人在電影院像人類一樣看電影…… 這些聽起來可能有些天馬行空，但一種名為「文本到圖像生成」的新型機(jī)器學(xué)習(xí)技術(shù)使這些成為可能。

谷歌研究院的科學(xué)家和工程師一直致力于探索使用各種 AI 技術(shù)生成文本到圖像的方法。

今年 5 月底，谷歌推出 AI 創(chuàng)作神器?Imagen，它結(jié)合了 Transformer 語言模型和高保真擴(kuò)散模型的強(qiáng)大功能，在文本到圖像的合成中提供前所未有的逼真度和語言理解能力。與僅使用圖像 - 文本數(shù)據(jù)進(jìn)行模型訓(xùn)練的先前工作相比，Imagen 的關(guān)鍵突破在于：谷歌的研究者發(fā)現(xiàn)在純文本語料庫上預(yù)訓(xùn)練的大型 LM 的文本嵌入對文本到圖像的合成顯著有效。Imagen 的文本到圖像生成可謂天馬行空，能生成多種奇幻卻逼真的有趣圖像。

Imagen 生成效果是這樣的，比如正在戶外享受騎行的柴犬（下圖左）以及狗狗照鏡子發(fā)現(xiàn)自己是只貓（下圖右）：

時(shí)隔沒多久，谷歌又推出了 Parti（Pathways Autoregressive Text-to-Image），該模型最高可擴(kuò)展至 200 億參數(shù)，并且隨著可使用參數(shù)數(shù)量的增長，其輸出的圖像也能夠更加逼真。

值得一提的是，這是谷歌大牛 Jeff Dean 提出的多任務(wù) AI 大模型藍(lán)圖 Pathways 的一部分。

我們先來看下 Parti 效果，袋熊在瀑布旁，背著書包，拄著拐杖眺望著遠(yuǎn)方：

埃及阿努比斯肖像，在洛杉磯背景下，戴著飛行員護(hù)目鏡，穿著白色 t 恤和黑色皮夾克：

一只熊貓戴著一頂巫師帽騎在馬上：

下面我們介紹一下 Parti 的實(shí)現(xiàn)原理。

Parti 模型

與 DALL-E、CogView 和 Make-A-Scene 類似，Parti 是一個(gè)兩階段模型，由圖像 tokenizer 和自回歸模型組成，如下圖 3 所示。第一階段訓(xùn)練一個(gè) tokenizer，該 tokenizer 可以將圖像轉(zhuǎn)換為一系列離散的視覺 token，用于訓(xùn)練并在推理時(shí)重建圖像。第二階段訓(xùn)練從文本 token 生成圖像 token 的自回歸序列到序列模型。

圖像 Tokenizer

首先，該研究訓(xùn)練了一個(gè) ViT-VQGAN-Small 模型（8 個(gè)塊，8 個(gè)頭，模型維度 512，隱藏維度 2048，總參數(shù)約為 30M），并且學(xué)習(xí)了 8192 張圖像 token 類別用于代碼本。

為了進(jìn)一步提高第二階段編碼器 - 解碼器訓(xùn)練后重建圖像的視覺靈敏度，該研究凍結(jié)了 tokenizer 的編碼器和代碼本，并微調(diào)更大尺寸的 tokenizer 解碼器（32 個(gè)塊，16 個(gè)頭，模型維度 1280，隱藏維度 5120， 總參數(shù)約 600M）。圖像 tokenizer 的輸入和輸出使用 256×256 分辨率。

最后，雖然分辨率為 256×256 的圖像捕獲了大部分內(nèi)容、結(jié)構(gòu)和紋理，但更高分辨率的圖像具有更大的視覺沖擊力。為此，該研究在圖像 tokenizer 上采用了一個(gè)簡單的超分辨率模塊，如下圖 4 所示。

文本到圖像生成的編碼器 - 解碼器架構(gòu)

如上圖 3 所示，該研究第二階段訓(xùn)練了一種標(biāo)準(zhǔn)的編碼器 - 解碼器 Transformer 模型，將文本到圖像視為序列到序列建模問題。該模型將文本作為輸入，并使用從第一階段圖像 tokenizer 生成的光柵化圖像潛在代碼的下一個(gè) token 預(yù)測進(jìn)行訓(xùn)練。對于文本編碼，該研究構(gòu)建了一個(gè) sentence-piece 模型，詞匯量為 16000。在推理時(shí)，模型對圖像 token 進(jìn)行自回歸采樣，隨后使用 ViT-VQGAN 解碼器將其解碼為像素。

該研究使用的文本 token 最大為 128，圖像 token 的長度固定為 1024。所有模型都使用 conv-shaped 掩碼稀疏注意力。該研究訓(xùn)練了四種變體，參數(shù)量從 3.5 億到 200 億不等，如下表 1 所示。

以下為對 Parti 模型四種大小比較結(jié)果，可以觀察到：模型性能和輸出圖像質(zhì)量在持續(xù)地提高；20B 模型尤其擅長于那些抽象的、需要世界知識的、特定視角的、或符號渲染的 prompt。

在悉尼歌劇院前的草地上，一只袋鼠穿著橙色衛(wèi)衣，戴著藍(lán)色墨鏡，胸前掛著「歡迎朋友」的牌子。

松鼠把蘋果送給了小鳥。

文本編碼器預(yù)訓(xùn)練

該研究在兩個(gè)數(shù)據(jù)集上預(yù)訓(xùn)練文本編碼器：具有 BERT [36] 預(yù)訓(xùn)練目標(biāo)的 Colossal Clean Crawled Corpus (C4) [35]，以及具有對比學(xué)習(xí)目標(biāo)的圖像文本數(shù)據(jù)。預(yù)訓(xùn)練后，該研究繼續(xù)訓(xùn)練編碼器和解碼器，在 8192 個(gè)離散圖像 token 的詞匯表上使用 softmax 交叉熵?fù)p失生成文本到圖像。

預(yù)訓(xùn)練后的文本編碼器在 GLUE 上的性能與 BERT 相當(dāng)；然而，在文本到圖像生成的完整編碼器 - 解碼器訓(xùn)練過程之后，文本編碼器會降級。

擴(kuò)展

該研究在 Lingvo 上來實(shí)現(xiàn)模型，并在 CloudTPUv4 硬件上使用 GSPMD 進(jìn)行擴(kuò)展，以用于訓(xùn)練和推理。GSPMD 是一個(gè)基于 XLA 編譯器的模型分布系統(tǒng)，它允許將 TPU 集群視為單個(gè)虛擬設(shè)備，并在幾個(gè)張量上使用 sharding annotations 來指示編譯器自動分發(fā)數(shù)據(jù)并在數(shù)千個(gè)設(shè)備上進(jìn)行計(jì)算。

該研究用數(shù)據(jù)并行性訓(xùn)練 350M 和 750M 模型。對于 3B 模型，該研究使用 4 路內(nèi)層模型并行（參見下圖 5）和 128 路數(shù)據(jù)并行。

下圖 6 為分布式訓(xùn)練策略整體架構(gòu)圖：

實(shí)驗(yàn)

下表 5 給出了自動圖像質(zhì)量評估的主要結(jié)果。與基于擴(kuò)散的 Imagen 模型相比，Parti 獲得了相媲美的零樣本 FID 分?jǐn)?shù)。

下表 6 為 Parti 字幕評估結(jié)果（captioner evaluation [55]），Parti 優(yōu)于其他模型：

下圖 8 顯示，盡管 Parti 沒有接受過 MS-COCO 字幕或圖像方面的訓(xùn)練，但表現(xiàn)更好。

下圖 9 總結(jié)了 MS-COCO 零樣本 FID 分?jǐn)?shù)：

更多內(nèi)容，請參考原論文。

參考鏈接：

https://blog.google/technology/research/how-ai-creates-photorealistic-images-from-text/

編輯：于騰凱

總結(jié)

以上是生活随笔為你收集整理的谷歌开始卷自己，AI架构Pathways加持，推出200亿生成模型的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯，歡迎將生活随笔推薦給好友。