Alibaba Cloud's New System Cuts Nvidia GPU Usage By 82%, Amid Trump's Flip Flop On AI Chip Ban On China

阿里巴巴集團（NYSE:BABA）推出了一種新的計算池系統，名為 Aegaeon，該系統顯著減少了對 英偉達（NASDAQ:NVDA）GPU 的依賴，降低幅度達到 82%。

三個月的測試

根據本週在韓國首爾舉行的第 31 屆操作系統原理研討會（SOSP）上發佈的一篇研究論文，這項創新在阿里巴巴雲的模型市場上進行了超過三個月的測試。

Aegaeon 系統成功地將所需的英偉達 H20 GPU 數量從 1,192 減少到僅 213 個，以支持高達 720 億參數的模型。

研究人員在論文中表示："Aegaeon 是首個揭示市場上併發 LLM 工作負載所帶來的過高成本的研究。"

來自 北京大學 和阿里巴巴雲的研究人員強調了併發大型語言模型工作負載所帶來的高成本。

一個 GPU 支持多個模型

阿里巴巴雲，作為總部位於杭州的阿里巴巴的人工智能和雲服務部門，旨在通過整合 GPU 資源來提高效率，使單個 GPU 能夠支持多個模型。

該系統解決了資源低效的問題，因為之前在阿里巴巴雲的市場中，17.7% 的 GPU 僅用於處理 1.35% 的請求。

像阿里巴巴雲和 字節跳動 的火山引擎這樣的雲服務提供商同時管理數千個 AI 模型，這往往導致效率低下。Aegaeon 系統旨在通過減少所需的 GPU 數量來優化這一過程。

對英偉達在中國存在的擔憂加劇

這一發展是在對英偉達在中國存在的擔憂加劇的背景下發生的。最近，中國對英偉達的 H20 芯片提出了安全擔憂，特別是關於潛在的後門風險。作為與英偉達達成協議的一部分，特朗普政府與該公司達成了一項 15% 的收入分成協議，涉及其對中國的芯片銷售。

英偉達首席執行官 黃仁勳 表示，英偉達在中國的市場份額已從 95% 驟降至零。他對美國政策對英偉達在中國市場存在的影響表示擔憂。

儘管面臨這些挑戰，英偉達已在財務上為潛在的升級做好了防護，因為其指導假設來自中國的收入為零，黃仁勳表示。

• 埃隆·馬斯克表示，維持火星殖民地需要 10 萬人和 100 萬噸貨物，重申星際飛船的重要性：‘將人類送上火星’

圖片來源：Shutterstock