來源：ScienceAI

編輯：蘿卜皮

人工智能最令人不安的事情之一是它超越了人類控制、遏制或規范它的權力。然而，它可能會產生可怕的結果，例如藥物發現人工智能最近錯誤地發現了可用作化學武器的致命毒素。

今天，沒有比 EleutherAI 更好的例子來說明 AI 的無拘無束了，EleutherAI 是一個松散的計算機科學家協會，他們建立了一個巨大的 AI 系統來與地球上一些最強大的機器學習模型相媲美。（這個團體的名字來源于古希臘語中的自由詞，eleutheria。）

「我們基本上是一群在聊天室里閑逛以尋找樂趣的怪人。」該組織的創始人之一 Connor Leahy 說。雖然 EleutherAI 專注于 AI 安全，但他表示，他們的努力清楚地表明，一小部分非正統參與者可以構建和使用具有潛在危險的 AI。「一群黑客在一個山洞里，弄清楚這一點，絕對是可行的。」他說。

該小組的最新成果是 GPT-NeoX-20B，這是一個 200 億參數、預訓練、通用、自回歸密集語言模型。如果你不知道這是什么，想想 OpenAI 的 GPT-3，這是一個大型語言模型，近兩年前它的能力震驚了世界，包括編寫從計算機代碼到詩歌和虛假新聞故事等等，在風格和語調上都無法與權威來源區分。

OpenAI 也建立在 AI 應該對所有人開放的前提下——因此得名。但是，當研究實驗室創建 GPT-2（其生成式預訓練 Transformer 模型的第二次迭代）時，該模型的威力嚴重擾亂了 OpenAI，以至于他們推遲了其發布。GPT-3 現在只提供給選定的研究人員，并已獲得 Microsoft 的獨家許可，可用于商業應用。

當然，OpenAI 的模型比 EleutherAI 更大，有 1750 億個參數——模型內部編碼信息的節點或數字。參數越多，模型吸收的信息就越多、越細化，因此模型就越「智能」。

但 EleutherAI 是世界上同類模型中最大、性能最好的模型，可免費公開獲得。將 EleutherAI 與 OpenAI 區分開來的唯一因素是訓練大規模模型所需的計算能力。

OpenAI 在數量不詳的 Nvidia V100 Tensor Core GPU 上訓練了 GPT-3，這些 GPU 是有史以來用于加速 AI 的最快芯片。此后，OpenAI 的合作伙伴微軟開發了一個用于大型模型訓練的單一系統，該系統具有超過 285,000 個 CPU 內核、10,000 個 GPU，以及每個 GPU 服務器每秒 400 Gb 的網絡連接。

這并沒有阻止 EleutherAI。他們最初使用谷歌提供的硬件作為其 TPU 研究云計劃的一部分，構建了一個具有 60 億個參數的大型語言模型。對于 GPT-NeoX-20B，該小組得到了 CoreWeave 的幫助，CoreWeave 是一家專門針對基于 GPU 的工作負載的云服務提供商。

「目前由科技公司開發的私有模型的主導范式超出了研究人員的訪問范圍，這是一個巨大的問題。」EleutherAI 聯盟的數學家和人工智能研究員 Stella Biderman 認為，「如果我們不了解它的工作原理，我們——科學家、倫理學家、整個社會——就無法就這項技術應該如何融入我們的生活進行必要的對話。」

EleutherAI 于 2020 年 7 月與一群「主要是自學成才的黑客」在社交媒體平臺 Discord 上聊天。

「這是從我半開玩笑地說我們應該試著胡鬧一下，看看我們是否可以建立自己的類似GPT-3的東西開始的。起初這真的只是一個有趣的愛好項目，在封鎖期間，我們沒有更好的事情可做，但它很快獲得了相當大的吸引力。」Leahy 說。

圖示：EleutherAI 的起源可以追溯到 2020 年夏天的一次 Discord 聊天。

Leahy 與其他獨立愛好者黑客 Sid Black 和 Leo Gao 一起于 2020 年 7 月創立了 EleutherAI Discord 服務器。「我們認為自己是幾十年前經典黑客文化的后代，只是在新的領域里，出于好奇和熱愛挑戰而對技術進行實驗。」

Discord 服務器現在有大約 10,000 名成員，但只有大約 100 或 200 人經常活躍。一個由 10 到 20 人組成的核心小組致力于開發新的應用程序，例如 GPT-NeoX-20B。沒有正式的法律結構。

該小組的既定使命是通過使這種規模的模型易于訪問，進一步研究人工智能系統的安全使用。事實上，與 GPT-3 不同的是，具有完整模型權重的 GPT-NeoX-20B 可以在許可的 Apache 2.0 許可下免費下載。

「我們希望更多的安全研究人員能夠使用這項技術。」Leahy 說，并補充說，研究人員了解他們正在使用的算法的程度令人震驚。他說，經過多次辯論，該組織「非常肯定，這種模型的構建和發布對社會是有益的，因為它將促成更多與安全相關的研究。」

事實上，EleutherAI 的工作已經促成了對大型語言模型的可解釋性、安全性和倫理的研究。機器學習安全領域的主要人物 Nicholas Carlini 在最近的一篇論文中表示，「如果沒有 EleutherAI 完全公開發布 The Pile 數據集及其 GPT-Neo 系列模型，我們的研究將無法進行。」Pile 數據集是一個 825 GB 的英文文本語料庫，用于訓練大規模語言模型。

Leahy 認為 AI 的最大風險不是有人利用它做壞事，而是構建一個非常強大的 AI 系統，沒人知道如何控制。

「我們必須將 AI 視為不像我們思考的奇怪外星人。」他說，并補充說 AI 擅長優化目標，但如果給定一個愚蠢的目標，結果可能無法預測。他擔心研究人員會在創造越來越強大的人工智能的競賽中過度自信，在這個過程中偷工減料。「我們需要研究這些系統，以了解我們如何控制它們。」

2019 年，被視為強化學習之父的 Richard Sutton 寫了一篇名為《痛苦的教訓》的文章，認為「從長遠來看，唯一重要的是利用計算。」他認為，人工智能的真正進步來自于用于簡單學習和搜索算法的強大計算機的日益普及。

OpenAI 正是采用了這種策略，擊敗了 Dota 2 世界冠軍，創造了一個足夠靈巧的機器人手控制器來解決魔方，最后是它的一系列生成預訓練模型，迄今為止在 GPT-3 中達到頂峰。

大型語言模型（如 GPT-3 和 EleutherAI 的 GPT-NeoX-20B）中使用的 Transformer 算法已被證明特別適合隨規模改進。

Leahy 說：「真正令人難以置信的是讓模型變得更大，提供更多數據，解鎖全新的技能集，無需任何人工標簽或教學。」 清華大學的一個小組已經創建了一個基于轉換器的模型，該模型具有 100 萬億個參數——與人腦中突觸的數量相當——盡管他們迄今為止未能將其訓練完成。

Leahy 說，任何志同道合的計算機科學家都可以構建一個大型語言模型，但由于需要計算能力，它很難隱藏并且可能非常昂貴。

「實際上很難獲得合適的硬件來訓練大型語言模型。」他說，并補充說這需要非常高的資本投資，而如今只有幾百家公司擁有這種硬件。「現在，這不是你可以匿名做的事情。」

相關報道：https://spectrum.ieee.org/eleutherai-openai-not-open-enough

未來智能實驗室的主要工作包括：建立AI智能系統智商評測體系，開展世界人工智能智商評測；開展互聯網（城市）大腦研究計劃，構建互聯網（城市）大腦技術和企業圖譜，為提升企業，行業與城市的智能水平服務。每日推薦范圍未來科技發展趨勢的學習型文章。目前線上平臺已收藏上千篇精華前沿科技文章和報告。

??如果您對實驗室的研究感興趣，歡迎加入未來智能實驗室線上平臺。掃描以下二維碼或點擊本文左下角“閱讀原文”

總結

以上是生活随笔為你收集整理的EleutherAI：当OpenAI不够开放时，我们该如何选择？的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。