1. TPU演進十年：Google的十大經驗教訓

希臘神話中，特洛伊戰爭的起因是兩方爭奪世界上最美的女人——海倫，后世詩人將海倫的美貌“令成千戰艦為之起航”。TPU就像海倫，它的出現引起了“成千芯片與之競逐”。

可以說，TPU的問世引發了硅谷的“地震”。TPU宣布誕生后，Intel耗資數十億美元收購了多家芯片公司，阿里巴巴、Amazon等競爭對手紛紛開始研發類似產品。TPU重新喚起了人們對計算機架構的關注，后來的幾年內，出現了上百家相關初創企業，年均總融資額近20億美元，各種新奇的想法層出不窮。

鏈接：

https://mp.weixin.qq.com/s/XuwExQsg582YSAQboypbsA

2. 進擊的PyTorch，和它背后的開源領袖

十年間，從Torch進化到PyTorch，再到近期落地Linux基金會，PyTorch從一個無心插柳的項目逐漸演變為最有影響力的開源項目之一。它究竟是如何一步步成長起來的？背后有那些與眾不同的故事？

鏈接：

https://mp.weixin.qq.com/s/JrutTVvFtx3xZoagy661LQ

3. 首個中文Stable Diffusion模型開源，中文AI藝術時代開啟

生成內容一直被視為 AI 領域中最具有挑戰性的能力，最近大火的 AI 繪畫背后，是 Stable Diffusion 模型的開源，催生了眾多 AI 繪畫的應用，得益于 Stability AI 的開源精神，這一創變推動了整個以英文為主的下游文生圖生態的蓬勃發展。

然而在國內，目前大部分團隊主要是基于翻譯 API + 英文 stable diffusion 模型進行開發，但由于中英文之間所得存在文化差異導致遇到中文獨特的敘事和表達時，這種模型就很難給出正確匹配的圖片內容。因此，IDEA 研究院認知計算與自然語言研究中心（IDEA CCNL）開源了第一個中文版本的 stable diffusion 模型“太乙 Stable Diffusion”，讓中文的世界真正擁有具備中國文化內核的 AIGC 模型。

鏈接：

https://mp.weixin.qq.com/s/WrzkiJOxqNcFpdU24BKbMA

4. 開源風暴吞噬AI界？從Stable Diffusion的爆火說起

近日，文本生成圖像模型Stable Diffusion背后的公司Stability AI宣布獲得了1.01億美元超額融資，估值達10億美元，這家基于開源社區的“草根”企業的風頭一時間甚至蓋過了業界頂級研究機構OpenAI。

盡管開源項目存在商業模式、開源許可協議等方面的挑戰，但通過良好開源社區的驅動，AI項目的技術發展、應用廣度和創造空間都有了意想不到的發展，正如開源“吞噬”軟件1.0，“開源AI”運動將在軟件2.0時代不可阻擋。

鏈接：

https://mp.weixin.qq.com/s/yc5zCng3DLfn9mR80XncRw

5. 曠視開源深度學習模型編譯器 MegCC

MegEngine 團隊開源的深度學習模型編譯器 MegCC是一個運行時超輕量，高效，移植簡單的深度學習模型編譯器?；?MLIR 開發，便于所有對二進制大小/內存占用敏感的推理場景。輸入模型，輸出可執行文件，mobilenetv1 的推理runtime 只要 81KB，速度和內存占用都很不錯。為了便于大家使用，在MegEngine 模型之外還支持 ONNX 模型的導入。

鏈接：

https://github.com/MegEngine/MegCC

6. TensorFlow將于2023年發布新版，明確四大支柱

近日，谷歌宣布他們已經著手開發 TensorFlow 的下一個迭代，并專注于快速和可擴展、應用型 ML、部署、簡單化這四大支柱。更具體地，谷歌計劃在 2023 年第二季度發布新的 TensorFlow 預覽版，之后晚些時候發布生產版本。

鏈接：

https://mp.weixin.qq.com/s/5YIT45AcSe1237kYnADUrw

7. PyTorch編譯機制的總結

PyTorch 編譯器一直在不斷變化，不斷出現新的解決方案堆棧或 IR，新方案都與以前的解決方案部分重疊。這是為什么？

鏈接：

https://dev-discuss.pytorch.org/t/the-nuances-of-pytorch-graph-capture/501

8. 優化PyTorch的速度和內存效率（2022）

深度學習模型的訓練/推理過程涉及很多步驟。在有限的時間和資源條件下，每個迭代的速度越快，整個模型的預測性能就越快。作者收集了幾個PyTorch技巧，以最大化內存使用效率和最小化運行時間。為了更好地利用這些技巧，我們還需要理解它們如何以及為什么有效。

鏈接：

https://mp.weixin.qq.com/s/BYV-ANrWpaKHEYnTomBCXQ

9. OneFlow的大模型分片保存和加載策略

在模型比較小時（如 100G 以下），還有可能采用單機存儲。當模型參數量比較大時，要求的樣本數也更大，訓練后做 dump 出來的模型也會很大，單機肯定放不下。本文將介紹 OneFlow 的大模型分片保存、加載策略以及使用方法。

鏈接：

https://mp.weixin.qq.com/s/2Z400_r_ZVwYYnGH7vw9zg

10. 視頻教程｜OneFlow源碼解析（3）：OneFlow的Eager VM

其它的深度學習框架的動態圖運行時，往往可能只做簡單的算子派發。OneFlow 的動態圖運行時（Eager VM），做了多項技術創新，如：將張量的生命周期作為性能優化的考量之一。這使得 OneFlow Eager VM 在通常情況下，都具有性能優勢，在某些邊界情況下，這類性能優勢可以超過100%。

鏈接：

https://www.bilibili.com/video/BV1xY4y1K7e6/?spm_id_from=333.788.recommend_more_video.1&vd_source=25c3e9bdd8a5701b69d322f471c11c38

11. 昇思金箍棒：基于MindSpore的業界SOTA模型壓縮算法集

近些年來，隨著算力的提升、數據的爆炸式增長和深度神經網絡技術的成熟，深度神經網絡在CV、NLP等很多領域都取得了遠超傳統機器學習的效果，相應的，神經網絡的規模和參數量也在迅速增加。端邊設備的算力、電量和內存雖然有提升，但并不能匹配神經網絡的部署要求，模型壓縮算法就是為解決這個矛盾應運而生。

鏈接：

https://zhuanlan.zhihu.com/p/555032583

12. Meta發布全新推理引擎AITemplate

Meta 發布了革命性的推理引擎 AITemplate。測試結果顯示，相比 PyTorch Eager，AITemplate 在 NVIDIA GPU 上實現了最高 12 倍的性能提升，在 AMD GPU 上實現了高達 4 倍的性能提升。

鏈接：

https://mp.weixin.qq.com/s/POMDj0P4-IHVR1y63CKBkQ

13. 一行代碼12倍加速Bert推理，OpenAI編程語言加持的引擎火了

一行代碼的威力到底有多大？今天我們要介紹的這個 Kernl 庫，用戶只需一行代碼，在 GPU 上就能以快幾倍的速度運行 Pytorch transformer 模型，從而極大的加快了模型的推理速度。具體而言，有了 Kernl 的加持，Bert 的推理速度比 Hugging Face 基線快了 12 倍。

這一成果主要得益于 Kernl 用新的 OpenAI 編程語言 Triton 和 TorchDynamo 編寫了定制的 GPU 內核。項目作者來自 Lefebvre Sarrut。

鏈接：

https://mp.weixin.qq.com/s/aIjq2JDUrfTmm7Bw6QdiPA

14. 重磅！AI基礎軟件架構峰會來襲，算法能力的新躍遷
?

2022年11月19日，DataFunSummit2022：AI基礎軟件架構峰會將如約而至。本次峰會由3位主席與5位出品人精心策劃而成，共包含了：深度學習框架、超大規模模型訓練、AI芯片及編譯器、新一代AI基礎架構及應用、MLOps及AI工程化落地、端側推理等6大主題論壇，邀請30余位來自國內外一線的AI基礎軟件技術專家，進行深度分享交流。本次峰會將全程直播，歡迎大家屆時收看。

鏈接：https://mp.weixin.qq.com/s/8yOBMadMts6zaic3Zpn6xg
?

其他人都在看

• 機器學習編譯器的前世今生

• OneFlow源碼解析：Global Tensor

• TPU演進十年：Google的十大經驗教訓

• 更快的YOLOv5問世，附送全面中文解析教程

• 開源吞噬AI界？從Stable Diffusion的爆火說起

• OneEmbedding:單卡訓練TB級推薦模型不是夢

• 大模型訓練難？效率超群、易用的“李白”模型庫來了

歡迎體驗OneFlow v0.8.0：https://github.com/Oneflow-Inc/oneflow/https://github.com/Oneflow-Inc/oneflow/stargazers

總結

以上是生活随笔為你收集整理的首个中文Stable Diffusion模型开源；TPU演进十年；18个PyTorch性能优化技巧 | AI系统前沿动态...的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。