国家队来了!国产中文大语言模型“天河天元”发布:由天河超算训练
生活随笔
收集整理的這篇文章主要介紹了
国家队来了!国产中文大语言模型“天河天元”发布:由天河超算训练
小編覺得挺不錯的,現在分享給大家,幫大家做個參考.
5月21日消息,5月18日,2023第七屆世界智能大會于國家會展中心(天津)正式開始。而天河新一代超級計算機是中國新一代百億億次超級計算機,也在此次展會迎來首次亮相。
同時,為充分發揮超算在算力方面的優勢,推動國產異構超級計算機平臺在AI應用開發和服務領域中的應用。
據介紹,中文大語言模型的數據集非常稀缺。國家超算天津中心搜集整理了網頁數據、各種開源訓練數據、中文小說數據、古文數據、百科數據、新聞數據,以及專業領域的中醫、醫藥、問診、法律等多種數據集。
訓練數據集總token數達到350B,最終訓練打造出了自己的中文語言大模型——天河天元大模型。
據悉,“天河E級智能計算開放創新平臺”將帶來突破百億億次的跨模態的超級計算算力,支撐傳統的科學工程計算,并服務智能混合計算,打造全方位的算力賦能創新和數字經濟高質量發展載體。
總結
以上是生活随笔為你收集整理的国家队来了!国产中文大语言模型“天河天元”发布:由天河超算训练的全部內容,希望文章能夠幫你解決所遇到的問題。
- 上一篇: 小程序下找地点、查路线、搜地铁,用这3个
- 下一篇: SpaceX 顺利完成今年第 33 次任