南趣百科網(wǎng)10月31日消息，在今天上午舉辦的2023云棲大會(huì)上，百川智能創(chuàng)始人兼CEO王小川發(fā)表演講稱，今年年底之前，國(guó)內(nèi)會(huì)有幾家公司能夠做到GPT3.5的水平，明年國(guó)內(nèi)會(huì)有若干款超級(jí)應(yīng)用。

王小川表示，百川智能做大模型的理念是“理想上慢一步，落地上快三步”。4月下場(chǎng)之后，百川在兩個(gè)月時(shí)間就完成了第一個(gè)70億參數(shù)的模型的發(fā)布，行業(yè)一般需要半年，比預(yù)期時(shí)間節(jié)省了三倍。

他直言，在大模型領(lǐng)域，確實(shí)得承認(rèn)跟美國(guó)存在差距。他預(yù)計(jì)今年年底之前國(guó)內(nèi)會(huì)有幾家公司能達(dá)到GPT 3.5的水平，到明年也有信心能夠達(dá)到GPT4.0的水平，但是達(dá)到之后，可能很難去超越他們。

他在發(fā)言中還談到在美國(guó)與OpenAI交流時(shí)了解到的情況。

“他們?cè)谡谠O(shè)計(jì)一個(gè)把1000萬(wàn)顆GPU連在一起做模型的技術(shù)。咱們做GPT3.5的時(shí)候用了4000顆GPU，做GPT4的時(shí)候是25000顆，英偉達(dá)一年生產(chǎn)能力才100萬(wàn)顆，而OpenAI在設(shè)計(jì)把1000萬(wàn)個(gè)GPU連接起來(lái)，這樣一種想法像登月一樣。“

“我對(duì)他們充滿了敬畏。我更自豪的地方是，我們?cè)谧鰬?yīng)用方面可能比美國(guó)走得更快。”王小川表示。

王小川認(rèn)為，在做應(yīng)用方面，中國(guó)企業(yè)會(huì)走得很快。基于現(xiàn)在已有的技術(shù)，相信中國(guó)明年有若干款超級(jí)應(yīng)用。

公開(kāi)資料顯示，百川智能成立于2023年4月10日，由前搜狗公司CEO王小川創(chuàng)立。其核心團(tuán)隊(duì)來(lái)自搜狗、Google、騰訊、百度、華為、微軟、字節(jié)等知名科技公司，目前團(tuán)隊(duì)規(guī)模170余人，研發(fā)人員占比超80%。

成立半年，百川智能便接連發(fā)布baichuan-7B/13B，Baichuan2-7B/13B四款開(kāi)源可免費(fèi)商用大模型及Baichuan-53B、Baichuan2-53B兩款閉源大模型，平均每28天就會(huì)發(fā)布一款新的大模型。

10月30日，百川智能發(fā)布Baichuan2-192K大模型，其上下文窗口長(zhǎng)度達(dá)192K，是目前全球最長(zhǎng)的上下文窗口，能夠處理約35萬(wàn)個(gè)漢字，是目前支持長(zhǎng)上下文窗口最優(yōu)秀大模型Claude2（支持100K上下文窗口，實(shí)測(cè)約8萬(wàn)字）的 4.4倍，更是 GPT-4（支持32K上下文窗口，實(shí)測(cè)約 2.5萬(wàn)字）的14倍。

據(jù)悉，Baichuan2-192K現(xiàn)已正式開(kāi)啟內(nèi)測(cè)，以API（應(yīng)用程序接口）調(diào)用的方式開(kāi)放給核心合作方，目前已經(jīng)與財(cái)經(jīng)類媒體及律師事務(wù)所等機(jī)構(gòu)達(dá)成了合作，將全球領(lǐng)先的長(zhǎng)上下文能力應(yīng)用到了傳媒、金融、法律等具體場(chǎng)景當(dāng)中，不久后將全面開(kāi)放。

總結(jié)

以上是生活随笔為你收集整理的百川智能王小川：美国OpenAI要把1000万个GPU连接起来做大模型 这种想法像登月一样的全部?jī)?nèi)容，希望文章能夠幫你解決所遇到的問(wèn)題。

如果覺(jué)得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。