文章首發于公眾號：機器感知

LLM增強LLM；通過預測上下文來提高文生圖質量；Spikformer V2；同時執行剛性和非剛性編輯的通用圖像編輯框架

LLM Augmented LLMs: Expanding Capabilities through Composition

本文研究了如何高效地組合現有的基礎模型以實現新功能的問題，文章提出了CALM（Composition to Augment Language Models）方法，通過跨模型注意力機制來組合模型表示，以此實現新功能。CALM的主要特點是：(i) 通過“重用”現有LLM以及一些額外的參數和數據擴展LLM到新任務上；(ii) 保持現有模型權重不變，從而保留現有功能；(iii) 適用于不同領域和場景。將PaLM2-S與一個小模型相結合實現了最高13%的絕對提升，當PaLM2-S與特定代碼模型相結合時，在代碼生成和解釋任務上的相對提升達到了40%，與完全微調后的模型相當。

Improving Diffusion-Based Image Synthesis with Context Prediction

本文提出了一種名為ConPreDiff的擴散模型，該模型通過預測上下文來提高圖像生成的語義連接性和質量。ConPreDiff在訓練階段使用一個上下文解碼器來強化每個點的預測，但在推理時移除解碼器。這一方法可應用于任意離散或連續的擴散backbones，且在無條件圖像生成、文本到圖像生成和圖像補全任務中取得了顯著優于之前方法的性能。

Spikformer V2: Join the High Accuracy Club on ImageNet with an SNN Ticket

本文提出了一種新型的Spiking神經網絡結構，稱為Spiking Self-Attention（SSA）和Spiking Transformer（Spikformer），這種結構借鑒了生物神經網絡的原理和Transformer的自注意力機制來提高性能。SSA機制通過使用基于脈沖的Query、Key和Value，消除了softmax的需要，并捕獲稀疏視覺特征。此外，還開發了一種Spiking Convolutional Stem（SCS）結構來增強Spikformer。為了訓練更大更深的Spikformer V2，引入了自監督學習（SSL）方法。實驗結果表明，Spikformer V2在性能上優于先前的方法，并首次在ImageNet上實現了80%以上的準確率。

Understanding LLMs: A Comprehensive Overview from Training to Inference

隨著ChatGPT的引入，大語言模型（LLMs）在下游任務中的應用顯著增加，低成本訓練和部署成為未來發展趨勢。本文回顧了大語言模型訓練技術和推理部署技術的演變，并探討了模型壓縮、并行計算、內存調度和結構優化等主題。同時，本文還探索了LLMs的應用，并對其未來發展提供了見解。

Unified Diffusion-Based Rigid and Non-Rigid Editing with Text and Image Guidance

現有的文本到圖像編輯方法在剛性或非剛性編輯方面表現優秀，但在結合兩者時卻無法得到與文本提示對齊的輸出。為了解決這些問題，本文提出了一種能夠執行剛性和非剛性編輯的通用圖像編輯框架。該方法利用雙路徑注入方案來處理各種編輯場景，并引入集成的自注意力機制來融合外觀和結構信息。為了減少潛在的視覺偽影，還采用了潛碼融合技術來調整中間潛碼。與現有方法相比，該方法在實現精確和通用圖像編輯方面取得了重大進展。

總結

以上是生活随笔為你收集整理的LLM增强LLM；通过预测上下文来提高文生图质量；Spikformer V2；同时执行刚性和非刚性编辑的通用图像编辑框架的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。