10 月 27 日消息，OpenAI今日宣布，正建立 Preparedness 團隊來評估通用 AI（Artificial General Intelligence，AGI）可能造成的災難性風險，該團隊交由麻省理工學院（MIT）的可部署機器學習中心主任 Aleksander Madry 主導。

OpenAI 表示，未來的 AI 模型雖然擁有造福全人類的潛力，但也可能帶來嚴重的風險，因此需要建立一個強大的框架來監控、評估、預測及防范這些 AI 模型。

據悉，OpenAI 設立了 Preparedness 團隊，將針對各種 AI 模型進行能力評估及紅隊測試，以追蹤、預測及防范各類別的災難性風險。

發現，OpenAI 宣稱的相關風險，主要包含以下三大類：

• 說服人類能力：AI輸出的內容是否會影響人類的行為

• 生成不當內容：AI 是否會生成有關化學 / 生物 / 放射性 / 核（CBRN）等危險內容

• 自主復制與適應能力（Autonomous Replication and Adaptation，ARA）：AI 是否會在自我迭代中脫離人類的控制

OpenAI 已開始招募不同背景的人才加入 Preparedness 團隊，同時推出 AI Preparedness 挑戰賽，鼓勵參賽者以黑客名義，“破解”Whisper、Voice、GPT-4V、DALLE3 等模型，前 10 名將可獲得 OpenAI 所提供的、價值 2.5 萬美元（備注：當前約 18.3 萬元人民幣）的 API 使用額度。

廣告聲明：文內含有的對外跳轉鏈接（包括不限于超鏈接、二維碼、口令等形式），用于傳遞更多信息，節省甄選時間，結果僅供參考，所有文章均包含本聲明。

總結

以上是生活随笔為你收集整理的OpenAI 设立安全团队 Preparedness：评估 AI 风险、防止外界滥用的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。