观点丨浪潮信息彭震:加速智算系统创新,切实解决大模型算力难题
生活随笔
收集整理的這篇文章主要介紹了
观点丨浪潮信息彭震:加速智算系统创新,切实解决大模型算力难题
小編覺得挺不錯的,現在分享給大家,幫大家做個參考.
【網易科技11月7日報道】目前從事大模型研發的公司和團隊,普遍面臨“買不起、建不了、算不好”的困局。
浪潮信息董事長彭震表示,為解決這一困境,應大力發展普適普惠的智算中心,通過算力基建化使得智算力成為城市的公共基礎資源,供用戶按需使用,發揮公共基礎設施的普惠價值。
在彭震看來,算力系統構建不是算力的簡單堆積,而是一項復雜的系統工程,需要從多個方面進行系統化的設計架構。
一是要解決如何實現算力的高效率,二是要解決算力系統如何保持線性可擴展, 三是解決算力系統長效穩定訓練問題,比如硬件故障導致訓練中斷、梯度爆炸等小規模訓練不會遇到的問題。
系統建成后,大模型在訓練過程中,由于開發鏈條冗長,還面臨“算不好”的挑戰。大模型訓練不僅依賴高質量數據,同時也要解決算法收斂、斷點續訓、參數優化、模型微調等問題,數據質量、代碼調優、執行效率等關乎訓練質量的因素至關重要。(江淼)
總結
以上是生活随笔為你收集整理的观点丨浪潮信息彭震:加速智算系统创新,切实解决大模型算力难题的全部內容,希望文章能夠幫你解決所遇到的問題。
- 上一篇: 华为云welink考试试题_华为内部开启
- 下一篇: 乘联会:10月新能源车零售76.5万辆