英偉達 A800 顯卡從 7 萬飆到 10 萬,需求倒爺滿天飛

華爾街見聞
2023.06.20 06:40
portai
I'm PortAI, I can summarize articles.

“顯卡荒” 燒至服務器,真火還是虛火?

從挖礦時代來到 AI 時代,GPU 的算力又有了用武之地。國內外雲廠商們的算力儲備競賽正打得如火如荼……

字節已向英偉達採購了 10 萬塊 A100 與 H800 加速卡,超 10 億美元(人民幣超 70 億元),僅字節一家今年的採購量就已接近英偉達去年在中國銷售的商用 GPU 總銷售額,另一家大型企業的訂單金額也至少超過了 10 億元人民幣。

已使用了約 2.5 萬個英偉達 GPU 的 OpenAI 表示 GPU 還很缺。每 1 億活躍用户 ChatGPT 就需要 13.5 EPLOPS 的算力,約 6.9 萬台 NVIDIA DGX A100 80G 服務器支撐,而目前全球的算力也只能支撐 1 億日均上線人數,隨着需求的增加未來預計還會增加。

在這些高端 GPU 的現貨流通市場,就算是半個外行看到機會也躍躍欲試,滿眼是 “金磚”。

原本 7.4 萬左右一枚的 A800,現在漲到 8.5 萬元以上,高配版則漲到 10 萬元左右。4 月底,市面上 8 卡 A800 模組的期貨報價還在 90 萬,交期 2 周,如今報價來到了 100 萬以上,交期延長到 7-8 周。5 月,A800 甚至被炒至 10 萬元一塊。

“觀望者交期更久,價格更貴。”  缺單卡的去買模組,買不到模組的後來都買了整機服務器。

從 GPU 單卡到模組再到 AI 服務器,漲價瘋狂,缺貨嚴重,貨期越來越長,市場上需求真的如這般高漲嗎?英偉達的 GPU 為什麼會這麼缺?此外,全新正品無法保障貨期,二手市場、灰色渠道,定金交了就不退,圍繞 AI 服務器的亂象正在上演……

01 英偉達 GPU 市場亂象

“一口氣就要 1000 張、3000 張,根本供不過來,這裏面需求到底是真還是假?”

“銷路好嗎?我有路子搞到貨,但怕砸手裏。”

5 月,英偉達的 GPU 仍在缺貨漲價。

有代理商透露,英偉達 A100 價格從去年 12 月開始上漲,截至今年 4 月上半月,其 5 個月價格累計漲幅達到 37.5%;同期 A800 價格累計漲幅達 20.0%。

交期從一個月延長到三個月或更長,部分新訂單 “可能要等到 12 月才能交付”。

一些在 AI 服務器有數量優勢的廠商,在勒緊褲腰帶使用 GPU 資源。微軟內部陷入 AI 服務器硬件短缺的窘境,採取 “配額供給” 機制。6 月在被刪除的 OpenAI  CEO Sam Altman 談話紀要中提到,Open AI 也缺 GPU,GPU 的短缺拖延了客户的許多短期計劃。

站在人工智能浪潮上的 “賣鏟人” 英偉達,如今幾乎壟斷了整個 AI 服務器芯片市場,成為最大贏家,不久前市值突破萬億,成為歷史上第一家市值突破 10000 億美元的芯片公司。

受到美國禁令影響,我國英偉達 A100 的現貨直接被斷供,國內可用於訓練 AI 大模型的 A100 約有 4 萬-5 萬個,供應相當吃緊,一些雲服務廠商為給強力運算騰出資源,已嚴格限制內部使用。

而目前正常供應的 A100 閹割版——A800 去年三季度才開始生產,加之新需求起勢,面臨供不應求,5 月初,A800 在國內已經漲到 10 萬元一塊。

一般來説,媒體報道説的高價 A800、A100 等,屬於該系列中的頂配,即 GPU 顯存為 80G,互連技術支持 NVLink 的版本。

市場上做 GPU 業務的朋友告訴我們,A800 在現貨市場的價格每天都在變,短期的匯率變動也會影響價格,“6 月 6 日 A800 PCle 單卡報價 8.5-8.8 萬,到 6 月 9 日最低報價可能就漲到 8.6 萬了”。

隨着緊缺和漲價行情愈演愈烈,出貨、尋找 GPU 的參與者越來越多,GPU 市場亂象由此開始:蜂擁而至的詢價,走俏的期貨市場與高額定金,以及二手渠道流出的大小 “坑”……

最直接的感觀是來自四面八方嘈雜的需求聲,多位服務器整機、服務器 GPU 相關市場從業者反映,最近因為 AI 火爆的確很多人來詢卡,問價格,但真正能成交的其實不多。

來找 A800、A100 這種單卡的,需求量少,看中價格,而需求量大的,一上來就要成百上千張,稱是幫客户、朋友問,還有華強北貿易商出動,給人感覺都在套價格。

“一上來要這麼多,哪供得上來?問他注重價格優勢還是貨期優勢,就沒有下文了。”“有的人幾乎都沒有貨款,問完就沒影了。” 相對來説,企業自己採購的容易成交。

目前英偉達等企業級 GPU 的供應,有兩種主要的流通渠道:一種是原廠 - 總代理 - 經銷商 - 市場;另一種是原廠-OEM 廠(服務器大廠)- 經銷商 - 市場。在現貨市場流通的主要在經銷、服務器方案或是二手市場。

這類企業級產品覆蓋企業、學校和服務器方案商等下游客户。專注服務器業務的徐哥表示,來自阿里等企業的真實需求通常都是一筆大單,這些大客户都是優先找上一層的總代理或者服務器 OEM 處拿貨,下一層體量小的經銷商、服務器配件商很難接觸到。也有媒體報道,雲廠商人士稱,字節、阿里等大公司主要是和英偉達原廠直接談採購,代理商和二手市場難以滿足他們的龐大需求。

現貨市場真實需求不足,也不妨礙大家出來找貨,現貨被搶完,不得不預定期貨,需要承受高額定金無法退回,以及可能遙遙無期的交期。

據瞭解,市面上 A800 單卡還有一定的現貨,A100 單卡幾乎 “絕跡” 了,A800 模組現貨很少,也不得不選擇期貨。以一台 8 卡的 A800 模組為例,有賣家報價總價 112 萬起,定金 50%,貨期 7-8 周,不保證準時到貨(此前幾天貨期還是 6 周),且定金不退。而在 4 月底,另一位賣家的 8 卡 A800 模組,價格還在 90 萬,定金 30%-50%,交貨週期 2 周。

一個多月的時間,可見一台 8 卡 A800 模組差價多出 20 多萬,貨期延長,定金也可能漲了。

一家自稱是源頭廠的賣家告訴我們,8 卡模組的現貨,要現貨的買家已經排了 5 億元的訂單金額,現在只能等到貨通知。

交定金,看似能提早排上隊,但高風險並存。以 8 卡的 A800 模組為例,通常收 50%的定金,一台頂配的 80G NV A800 模組 100 多萬,定金至少 50 萬,且一旦交了定金就不能退。網上有買家表示,今年三四月份訂的 10 枚單卡,到現在還沒拿到貨。

不少賣家承諾的貨期沒有保障,基礎價格高,定金比率也高,需要付出的真金白銀就多了。如果沒拿到貨,就只能一直等,畢竟錢都交了。

如果你擁有一批 A800、A100 現貨,在大家眼中那都不是普通的顯卡,是金磚。

有人看到熱度,想做 GPU 的生意但怕貨砸手裏,對於個別追逐利益的炒家來説,真實需求存疑,現貨怕跌價砸手裏,期貨又怕拿不到貨,甚至因為拿貨時價格太高,得不償失。

二手產品層出不窮,還有人專門高價回收二手 AI 芯片,暫不説用在何處,這類 GPU 保修都是問題。

02 上游產能告急:先進製程不缺,到底卡在哪?

ChatGPT 火了之後,互聯網企業、雲廠商們更加廣泛地佈局 AI 大模型,爭奪英偉達 GPU 的大算力,缺的不僅是 A100、A800,更高端的 H100、H800 也一樣。有人問,晶圓產能已經不缺了,為何 GPU 還會供不上來?

“每 10 年 GPU 性能增長 1000 倍”,“買的越多,省得越多”,黃氏定律 (Huang’s Law) 要取代摩爾定律,雖然先進製程可以提高 GPU 的性能,但摩爾定律已經到頭,而且服務器的用途,又區別於手機芯片對空間的苛刻要求。如果説先進製程是 GPU 的首選,先進封裝則是錦上添花。

GPU 用先進製程製造出來還不夠,讓封裝體積小,功耗低,引腳少,實現芯片、芯片與封裝基板之間更緊密的互連,是目前芯片製程限制下提高 GPU 性能的一大步。先進封裝的四個魔法 Bump、RDL、Wafer 和 TSV 這四種技術,具備任意一種,就可以點亮新的封裝技能。

英偉達的 V100、A100、A800、H100 等都採用台積電 CoWoS 先進封裝技術,解決了高算力 AI 背景下芯片的 “存算一體” 問題。不過,台積電 7nm 晶圓代工產能的確不缺了,但這回缺貨竟還是栽在了台積電身上。

首先,CoWoS 先進封裝核心技術只有台積電一家能做,沒有台積電不行。

現在缺的先進封裝 wafer,其中的技術是台積電專利,英偉達只能找台積電做,先進製程和先進封裝都被台積電牢牢把握住了。2012 年,台積電推出了獨門的 CoWoS 先進封裝技術,從此有了從晶圓代工到終端封裝的一條龍服務。CoWoS 家族包含 CoWoS-S 與 CoWoS-L/R 等部分,對應高速運算應用的客户包含英偉達等多家一線大廠。另有 InFO 先進封裝系列則由多數由蘋果全部包下。

你説外包?技術含量低的流程可以,但核心技術沒有台積電還是不行,其他封裝廠只能喝湯。

近期為應對臨時需求,台積電採用部分 os(on substrate)委外轉包的方法,但並不是 CoWoS 製程轉外包,台積電仍是專注在最有價值的先進封裝部分。

台積電等於從晶圓代工做到封裝一條龍了,Google TPU、英偉達 GPU 及 AMD MI300 這些全數導入生成式 AI 的芯片大廠,都為台積電貢獻了大量的 AIGC 訂單,帶動 CoWoS 擴產需求。 

其次,這類先進封裝也吃對應封裝產能,目前產能緊缺。

先進封裝一面朝上游晶圓製程領域發展,即晶圓級封裝,在更小封裝面積上容納更多引腳,另一面向下遊模組領域拓展,發展系統級封裝。近日 @手機晶片達人透露,CoWoS 製程分成前段晶圓製程的 interposer,與後段封裝的 die to die 疊 die,台積電 CoWoS 產能缺是缺在做 65nm 的 Interposer。

這裏的 interposer(中介層)採用 Wafer(晶圓)技術,如台積電 CoWoS 封裝技術方案是 2.5D 封裝技術,把芯片封裝到硅轉接板(中介層),並使用硅轉接板上的高密度佈線進行互連,然後再安裝在封裝基板上。

因此 GPU 在先進封裝過程中需要額外的晶圓,即 CoWoS 產能。外資野村證券預期,台積電 CoWoS 年化產能將從 2022 年底 7-8 萬片晶圓,增至 2023 年底 14-15 萬片晶圓,隨產能持續擴充,預估 2024 年底將挑戰 20 萬片產能。

填補晶圓級封裝產能的缺口,成了當務之急。而且在 Wafer 技術不斷發展下,Wafer 面積呈逐漸增大的趨勢,相比於 InFO,針對高端市場的 CoWoS,連線數量和封裝尺寸都比較大。根據 @手機晶片達人,65nm interposer 需求比 top die (H100) 多 1.4 倍。

台積電先進 CoWoS 封裝產能已經嚴重供不應求,去年起台積電 CoWoS 需求幾乎是雙倍成長,明年需求持續強勁。先進封裝只有台積電的台灣廠能做,台積電正在各廠直接進行調配、擴充,加快先進封裝製程進度。

03 “顯卡荒” 燒至服務器 真火還是虛火?

對於真正有需求的買家來説,用這麼高端的顯卡本質上是用在 AI 服務器,要麼是缺卡,要麼是缺模組,要麼是缺整機。但論真實需求,“金磚” 其實不如服務器。

做 AI 的 GPU 缺漲,搭載服務器跟着漲價,早在 4 月就有報道稱,浪潮將把 AI 服務器價格提高約 20%,這是在英偉達終止向中國供應其頂級 A100 和 H100 芯片後做出的決定。後續有消息人士證實,上漲幅度沒有具體説明,另外有消息人士稱,服務器供應商只是提高了英偉達 AI 服務器的價格,其他服務器產品的價格沒有變化。

太平洋證券數據顯示,2022 年中國 AI 服務器市場排名前 8 的服務器耗材佔比達 92%,浪潮以 37% 位居榜首。浪潮的財務披露顯示,英偉達一直是其主要的芯片供應商。2019 年,英特爾和英偉達是浪潮的前兩大芯片供應商。

GPU 單卡相當於服務器的零部件,單卡需求更注重價格,服務器要用到多卡 GPU 模組,最多的 8 卡,就算是 PCle 版本的服務器目前也要 80 萬左右,NV 的則是百萬級別。

目前 A800 期貨整機價格為 120 多萬,現貨較少,據某知名計算服務商的一位銷售人士介紹,其 A800 的整機現貨價格為 168 萬,定金 50%,“7 月底有 35 台,25 台已被預定”。即便是企業用,這個價格也不算便宜。而且據市場消息,A800 整機的正常貨期已經排到了 10 月底,甚至很多賣家直接報到 24 周,貨期接近 6 個月。

在一些做服務器整機業務的朋友眼中,GPU 再火爆,也不如服務器更靠近真實需求,更好做生意。徐哥表示,現在專注服務器,對單卡的興趣不大了,賣服務器都是給客户發配置再報價,卡的話比較麻煩,還要看接口等等是否適配……總之,服務器相對卡來説真實的成交更多,成交率高。而卡只是詢價的多,成交量太少,只有大公司要的量多。“要的多的幾乎都是整機要的,量少的都是卡。”

在廣泛的客户需求中,也並非所有 AI 服務器一上來就是頂配,一上來就有大量的需求。無論是 A800 PCIE 服務器、NVlinvk 服務器,還是 H800 HGX 服務器等等,企業都是根據不同的需求去選擇配置。當然服務器的價格也會更透明,多了比價的機會。

GPU、硬盤等都是服務器的配件之一,如今 AI 帶火了相關服務器,A800 等高端 GPU 成本佔比高,供應緊缺,在整機中,它的價格敏感度也排在前列。

單單 GPU 的缺貨限制 AI 服務器的正常供應,在市場上看似火爆,卻夾雜着更多的虛假需求。

這波 GPU 熱,讓人聯想起倒爺們狂炒額温槍生意的 2020 年,當時朋友圈的裂變效應,導致市場上多了比真實需求放大無數倍的虛假需求。結果供應緊缺,現貨價比期貨高太多,貨期沒有保障,賣家違約成本低,有倒爺靠 “定金” 大賺特賺。

芯片極度短缺的日子已經告一段落,高端 GPU 產能雖然一時半會供不上來,但對應的企業級需求壁壘較高,要求正規技術支持和售後服務,加上需求量的猛增,都給大家提出了更高的要求,沒有長期耕耘和紮實功底,僅靠投機取巧的手段,很難在風口上分得一杯羹。

本文作者:Silvia,來源: 芯世相,原文標題:《英偉達 A800 顯卡從 7 萬飆到 10 萬,需求倒爺滿天飛》
風險提示及免責條款
市場有風險,投資需謹慎。本文不構成個人投資建議,也未考慮到個別用户特殊的投資目標、財務狀況或需要。用户應考慮本文中的任何意見、觀點或結論是否符合其特定狀況。據此投資,責任自負。