感謝網友 Coje_He、西窗舊事、Alejandro86、咩咩洋 的線索投遞！

當 ChatGPT 被黑客“入侵”時，OpenAI 會如何應對？

掐斷 API，不讓他們用？不不不。

這幫極客們采取的做法可謂是劍走偏鋒 —— 反手一記《無間道》。

故事是這樣的。

OpenAI 雖然在發布 ChatGPT 之前做了大量的安全性檢測，但當開放 API 之后，還是防不住一些居心叵測的黑客們拿它搞事情。

然后有一天，團隊中的一個工程師突然發現 ChatGPT 端點上的流量有些不太正常；在經過一番調查之后，確定了大概率是有人在反向工程 API（盜版 API）。

不過 OpenAI 并沒有選擇立即阻止這些黑客，因為如果團隊這樣做了，黑客們就會馬上發現異樣，然后改變策略繼續攻擊。

這時，團隊里一個“大聰明”就支了個妙招：

我們搞成“catGPT”，每個 token 都是“meow”……

“陷阱”布置成功后，黑客大兄弟再向 ChatGPT 提問時，畫風就是這樣嬸兒的了：

沒錯，不管問啥，回答都是“喵言喵語”：

喵，我不知道。我是只貓，不是只鳥！

這位黑客大兄弟起初還不知道自己早已落入“陷阱”，還發帖描述了自己神奇的經歷。

不過黑客團伙中很快有人察覺到了異樣：

兩個代理都出現了同樣的情況；我覺得我們完了（暴露了）。

團伙中還有人在 Discord 社區中這樣討論：

兄弟，你覺得 OpenAI 是發現了我們在（拿盜版 API）用模型，然后開始拿“貓語 promt”來回答我們嗎？

若真如此，那也太搞笑了吧！

殊不知，OpenAI 的成員們早就潛入了 Discord 社區，觀望著黑客們的對話……

黑客們最終還是發現了真相，后知后覺的他們，最終在 Discord 中給 OpenAI 的團隊發話了：

我很失望。我知道 OpenAI 的某人正在讀這段文字。

你們有千載難逢的機會給我們來個“Rick Astley”（發現被整蠱時用的橋段），你們竟然就搞個貓。

對此，OpenAI 的成員表示：“收到，下次我們會的”。

上面這個有趣的故事，其實是一位 OpenAI 工程師 Evan Morikawa 在一場技術分享活動中自曝的。

不少網友在看完這個故事之后，紛紛感慨道：

絕對的傳奇！

雖然故事很精彩、很有趣，不過言歸正傳，這也從側面反映出了目前大模型時代下所存在的安全隱患。

正如 Evan 在活動中所說：

隨著模型變得越來越強大，它們在壞人手中可能造成的傷害變得更大，我們在這里的警惕性確實需要成倍增加。

除此之外，Evan 在活動中還分享了兩個與 OpenAI、ChatGPT 相關的“隱秘的故事”。

我們繼續往下看。

OpenAI：GPU 夠的話，發布早就提前了

Evan 先是回顧了 ChatGPT 最初爆火的盛況：

從內部決定發布，到后來意外走紅，就連馬斯克都發推討論等等。

隨之而來的便是大量用戶的涌入，當時他們自己也很擔心，因為以他們 GPU 的能力，完全 hold 不住那么大的負載。

然后 Evan 在現場展示了他們為 ChatGPT 提供動力的計算機，里面有 8 個英偉達 A100 GPU：

每個 GPU 上還都附加了特殊的 HPM 高帶寬內存；至關重要的是，他們還需要所有 GPU 相互通信：

Evan 表示，里面的每個環節的性能都會影響 ChatGPT 最終的體驗感。

接下來，Evan 站在現在這個時間節點，回顧并總結了 OpenAI 最初在 GPU 上所遇到的瓶頸。

1、GPU 內存不足

由于 ChatGPT 的模型非常大，需要占用大量 GPU 內存來存儲模型權重。而 GPU 上的高帶寬內存非常昂貴和有限，不夠用來同時服務大量用戶請求。這成為第一個瓶頸。

2、計算效率低下

初期通過簡單的 GPU 利用率指標監控存在問題，沒有充分考慮到 tensor 運算的內存訪問模式。導致 GPU 算力沒有被充分利用，浪費了寶貴的計算資源。

3、難以擴容

ChatGPT 流量暴增，但受限于整個 GPU 供應鏈，短時間內無法擴充 GPU 服務器數量，不得不限制用戶訪問。無法自動擴容成為重大挑戰。

4、多樣化負載特征

隨著用戶使用模式的變化，不同模型和請求類型對 GPU 的計算方式和內存訪問模式需要不斷調整，優化難度大。

5、分布式訓練困難

GPU 之間的通信和數據交換成為訓練架構中新的瓶頸。

可以看出，OpenAI 開始將 GPU 用于部署大模型服務時，確實因為經驗不足而遇到一些系統級別的困難。但通過不斷調整策略和深入優化，才使 ChatGPT 得以穩定運行。

而且 Evan 還爆料說：

如果不是因為 GPU 短缺，去年產品和功能的發布速度會更快。

我們已經準備好了東西了，但我們也知道無法處理負載。

基于上述的挑戰，Evan 分享了 OpenAI 總結出的經驗教訓：

把問題視為系統工程挑戰，而不僅僅是研究項目；需要優化各個系統組件的協同工作，如緩存、網絡、批處理大小等。

要深入了解硬件的底層細節及其對系統的影響，如 GPU 內存帶寬、ops / bytes 等對性能的影響；不能停留在表面指標。

不斷根據模型和場景變化對系統進行調優；不同的模型結構和使用場景會對系統提出不同要求。

要考慮到硬件的各種限制，如內存和算力均衡、擴容限制等，這會影響產品路線圖；不能簡單地套用傳統的云擴展經驗。

把 ChatGPT 看成初創公司

至于團隊方面，Evan 也有所介紹。

ChatGPT 啟動時，應用工程團隊只有 30 人左右，發布 10 個月后才擴充到近 100 人。

OpenAI 一直在員工數量增長與保持高人才密度之間尋找平衡，他們最初希望團隊盡可能小，這樣可以保持高效的迭代文化。

不過后來隨著產品規模增長，很多職能只有幾個人在支撐，這樣就會存在一定風險，因此才決定進行一定擴張。

Evan 對于團隊建設方面的分享，有一個觀點是值得劃重點的。

那就是他認為：

不要把 ChatGPT 看成是 OpenAI 的一個部門。

他們在三年前就嘗試過用 API 做類似 ChatGPT 的事情，因此在 Evan 看來 ——

ChatGPT 更像是個 10 月大的初創公司嵌套到了 3 年前的初創公司；而這個三年前的初創公司，又嵌套在一個 8 年前的初創公司（即 OpenAI）。

接下來，如果公司還會出現新的產品，Evan 希望還是能夠保持沿用這種模式。

參考鏈接：

• [1]https://www.youtube.com/watch?v=PeKMEXUrlq4

• [2]https://twitter.com/random_walker/status/1719342958137233605?s=20

• [3]https://twitter.com/nearcyan/status/1719225443788935372?s=20

廣告聲明：文內含有的對外跳轉鏈接（包括不限于超鏈接、二維碼、口令等形式），用于傳遞更多信息，節省甄選時間，結果僅供參考，所有文章均包含本聲明。

總結

以上是生活随笔為你收集整理的OpenAI 潜入黑客群聊！将盗版 ChatGPT 换成“喵喵 GPT”，网友：绝对的传奇的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。