Google提出了一個跨模態對比學習框架來訓練用于文本到圖像合成的 GAN 模型，用于研究解決生成的跨模態對比損失問題。

文 /?Han Zhang, Research Scientist and Jing Yu Koh, Software Engineer, Google Research

原文 /?https://ai.googleblog.com/2021/05/cross-modal-contrastive-learning-for.html

從文本到圖像的自動生成，如何訓練模型僅通過一段文本描述輸入就能生成具體的圖像，是一項非常具有挑戰性的任務。

與其它指導圖像創建的輸入類型相比，描述性句子是一種更直觀、更靈活的視覺概念表達方式。強大的自動文本到圖像的生成系統可以成為快速、有效的內容生產、制作工具，用于更多具有創造性的應用當中。

在CVPR 2021中，Google提出了一個跨模態對比生成對抗網絡（XMC-GAN），訓練用于文本到圖像合成的 GAN 模型，通過模態間與模態內的對比學習使圖像和文本之間的互信息最大化，解決文本到圖像生成的跨模態對比損失問題。

?XMC-GAN 文本到圖像合成模型中的模態間和模態內對比學習

XMC-GAN 被成功應用于三個具有挑戰性的數據集：一個是MS-COCO 圖像描述集合，另外兩個是用Localized Narratives注釋的數據集，一個是包括MS-COCO 圖像（稱為LN-COCO) ，另一個描述開放圖像數據 (LN-OpenImages)。結果顯示 XMC-GAN生成圖像所描繪的場景相比于使用其它技術生成的圖像質量更高，在每個方面都達到了最先進的水平。

MS-COCO對圖像質量和文本對齊的人工評估

此外，XMC-GAN還在 LN-OpenImages 上進行了一系列訓練和評估，這相比于 MS-COCO 更具有挑戰性，由于數據集更大，圖像涵蓋主題范圍更加廣泛且復雜。

Open Images 上真實和生成圖像的隨機樣本

對于人類評估和定量指標，XMC-GAN 在多個數據集模型中相較之前有顯著的改進。可以生成與輸入描述非常匹配的高質量圖像，包括更長，更詳細的敘述，同時端到端模型的復雜度也相對較為簡單，這代表了從自然語言描述生成圖像的創造性應用的重大進步。

詳情請掃描圖中二維碼或點擊閱讀原文了解大會更多信息。

總結

以上是生活随笔為你收集整理的XMC-GAN：从文本到图像的跨模态对比学习的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。