AMD 小會、高通發佈 NPU 報告、推薦算法

AMD（今晚 +4%）MS TMT Conference 上的小會（CFO Jean）

• 關於 2027 年 4000 億美金市場規模怎麼算的：首先是自下而上計算的，在企業中已經開始看到生產率提高的早期證據，聽到客户談論的是非常具體的功能，30%、40%，甚至是 100% 的生產率提高。根據客户對其長期需求的反饋，以及我們對滿足需求所需要的芯片規模。具體包括量、價，且 ASP 會增加。除了 GPU，還有 TPU 等 ASIC，客户都在談論內部自制芯片，這些機會也在總的 TAM 計算中。除了自下而上，另一個角度，我們團隊也考慮了 AU 對全球 GDP 意味着什麼，對生產力的提高意味着什麼，確實節省了大量勞動力成本的話，對勞動力成本意味着什麼。總之我們做了多角度校驗（triangulate），確保預測不會錯。

• 關於中國定製版本沒有獲得批准：MI300 目前和 2024 年的收入主要來自非中國客户。我們確實向中國運送 MI210，這符合出口管制。我們正在與客户合作，並與 M 國政府合作，研究是否能推出 MI300 的衍生產品，為中國客户提供支持。

• 英偉達 1 年 1 迭代，AMD 怎麼辦：自從我們推出 MI300 以來，我們看到英偉達不斷加快推出產品的步伐，你應該期待 AMD 也能這樣做。縱觀 AMD 的發展史，從 MI100 到 MI300，大約也就 3 到 4 年的時間，我們對自己的路線圖很有信心。任何新技術的關鍵不僅在於供給，還需要客户採用，這就需要我們路線圖與客户的需求保持一致

• AI PC：AI 始於數據中心，並將走向邊緣，走向 PC 等個人設備，對 AMD 而言，最重要的事情之一就是 AI PC，我們相信 AI PC 將推動不同的替換週期。一旦將 NPU 集成到電腦中，它就能在本地完成很多應用，你不再需要去雲端。

• ROCm：ROCm 6 已經取得了重大進展，支持 PyTorch、JAX、Trident 和 defender 框架，客户假如基於這些框架編寫模型，就可以運行 MI300X。現在 Hugging Face 上大概有 50 萬個模型，它們都可以在 MI300X 上運行，我們認為我們已經縮小了差距。

• 傳統：服務器市場實際上有所下滑，一是庫存消化，二是 AI 支出擠壓。客户優先考慮 AI，並延長傳統服務折舊，幾乎所有的雲計算客户都延長了折舊期限。新的工作負載推動客户擴大數據中心的空間和功率，如果繼續使用老式服務器，運營成本實際上相當高。延長折舊是不夠的，必須升級。

高通剛剛發了一份《通過 NPU 和異構計算開啓端側 AI》的報告

手機 AI 負載有哪些：照片/視頻拍攝、圖像生成/編輯、代碼生成、錄音轉錄/摘要、文本 (電子郵件、文檔等) 創作/摘要、語音識別、遊戲和視頻的超級分辨率、視頻通話的音頻/視頻處理、視頻通話的實時翻譯，以及最重要的 always on 的 AI 助手，例如手機可以根據用户的對話內容自動建議與同事的會議。

為什麼需要 NPU：通用 CPU 和 GPU，難以滿足這些 AI 用例嚴苛且多樣化的計算需求。AI 用例在不斷演進，功能完全固定的硬件不行。因此，支持處理多樣性的異構計算架構能夠發揮每個處理器的優勢，例如以 AI 為中心定製設計的 NPU，以及 CPU 和 GPU，每個處理器承擔不同的任務：CPU 擅長順序控制和即時性、GPU 適合並行數據流處理、NPU 擅長標量、向量和張量數學運算，可用於核心 AI 工作負載。比如我們在 2023 驍龍峯會上，高通在搭載第三代驍龍 8 移動平台的手機上演示了語音控制的 AI 個人助手，這一用例的工作負載分配方式：

此外，高通 AI 軟件棧全面支持主流 Al 框架 (如 TensorFlow、PvTorch、ONNX 和 Keras)

高盛對 memory 的投資者調研

投資者已經預期 24 年第 2 季度的價格增長將明顯放緩。買方的預期範圍介於本季度環比增長 MSD% 到 HSD% 之間。主要的爭論點是內存價格增長是否會從 24 年第三季度開始加速，越來越多的投資者提出這種可能性，因此 DDR5 和 HBM（尤其是 B100 GPU 的推出而推出的 HBM3E）需求強勁，普通服務器的內存需求復甦，以及智能手機的旺盛季節性。市場對 NAND 定價的預期相對較低，一致認為 24 年下半年的定價增長可能會繼續放緩，特別是隨着供應商開始提高利用率。

大多數投資者認為，海力士將繼續佔據 HBM3E 的大部分市場份額，因為海力士擁有專有的 MR-MUF（大規模回流模塑底部填充）技術，在生產率和散熱方面具有優勢，而且海力士已經建立了供應鏈生態系統並與客户建立了牢固的關係。不過，對於 HBM4 的看法不一，一些人認為海力士將能保持領先地位，但另一些人則認為海力士的同行（如 SEC）將能迎頭趕上，因為 SEC 在混合鍵合技術方面的工作更為積極，而且有可能以交鑰匙工程的方式提供 HBM。大多數投資者傾向於海力士，但也有越來越多的投資開始考慮三星。

大摩下調特斯拉盈利預測

價格持續下降，電動汽車（EV）需求仍在減緩，混合動力勢頭正在爭奪邊際 EV 買家，今年特斯拉可能在汽車業務上 GAAP EBIT 虧損。加州的純電動車（BEV）滲透率與中國相當。中國 EV 市場供應過剩，我們認為價格競爭將持續到 2024 年。混合動力復興，豐田應該是今年美國增長最快的主要 OEM，市場份額將增加 100 個基點到 200 個基點。預計特斯拉 2024 年上半年的業績將低於預期，只看 EV 製造利潤率可能為負。2024 預測變化：銷量削減至低於 2 百萬，汽車毛利率從之前的 13.2% 降低到 11.4%，GAAP EPS 預測從之前的 1.54 美元削減到 0.99 美元， non-GAAP EPS 從之前的 2.04 美元削減到 1.51 美元。

MS TMT Conference 第一天總結

軟件：所有公司中，Gen AI 仍然是第一話題，但各公司對收入何時會在模型中顯現仍然比較謹慎。例如，ServiceNow CFO 表示，雖然對兩到三年內的收入機會非常有信心，但現在就對 2024 年的收入影響還為時過早。也有一些積極的跡象表明，企業 IT 支出環境正在改善，而且 Gen AI 對生產力的影響已經可以衡量。企業已經從 Gen AI 中看到了對內部生產力的影響，從而產生了更積極的情緒，例如，ServiceNow 談到了超過 20 個內部用例，看到 AI 產品 Pro Plus SKU 的增長速度比老產品 Pro SKU 更快。

半導體：Marvell 4 月份的業績可能出現小幅下滑，但我們認為 ASIC 將帶來足夠多的利好消息，收入峯值將遠高於最初的指導目標（年收入 8 億美元），但英偉達一旦供給釋放，ASIC 競爭力有多大存有疑問。AMAT CFO 稱公司認為將在 HBM 15-20 個額外步驟（TSV、電鍍、間隙填充等）的份額將超過 50%。下半年對中國 DRAM 出貨量的增長將放緩，佔業務量的比例將從第一季度的 45% 下降到全年的 30%。認為 AI 整體晶圓 wafe starts 為全球晶圓總 wafer starts 的 6%，預期年複合增長率為 30% 以上；HBM 佔 DRAM 的 5%，預期增長 50-60%。AI 將推動邏輯和 DRAM 的產能利用率提升。ASMPT 表示，其下一代 TCB 可以實現 16 層 HBM，這將擴大 TCB 的應用範圍，並有利於 ASMPT 成為行業領導者，HBM4 中 TCB 與 Hybrid Bonding 的使用比例，成為一個值得商榷的問題。ABF 低迷，個人電腦和通用服務器需求低迷，第一季度收入可能會進一步下降，價格競爭將加劇，供過於求的局面將持續到 2025 年。

CoWoS /  HBM / 服務器模型更新

老黃説的推薦算法，為什麼需要大模型（某專家）

傳統推薦算法，主要基於用户畫像特徵、物品特徵來進行推薦。其先驗知識和泛化能力相比大模型要弱很多。傳統推薦算法的一大挑戰是冷啓動問題，即如何對新用户、新物品進行推薦。不同平台的競爭力和增長潛力，很大程度上取決於對新用户和非活躍用户的冷啓動推薦效果，且各家公司投入大量人力資源 (可能佔 80%) 來解決這個問題。由於缺乏交互行為數據，傳統算法很難準確預測新用户的興趣。而大模型憑藉其先驗知識，可以在一定程度上緩解冷啓動問題。傳統推薦算法通常依賴用户的顯式行為，如點擊、轉化、停留時間等。如果用户沒有這些行為數據，算法就難以準確判斷用户的喜好。大模型可以利用用户的基本屬性信息，如統計屬性、地理位置等，加上其先驗知識，生成對該用户可能感興趣物品的預測。有些大模型如 Gemini 是在線訓練的，可以實時學習新數據，快速適應新用户的需求。

看到的一些深度評論

from 普通人的 AI 自由：“壓縮” 是 LLM 模型的最核心能力，所謂 “世界模型” 就是要將人類的所有知識都壓縮到模型中。順着這條路思考，小型化的意義在於：小型化的模型首次讓一個公司、甚至個人可以使用 “全人類的知識”。可能會出現一個歷史的分叉，岔路的一邊是 “中心化的大一統世界模型”，另一邊是 “端上智能 + 人的模型的混合社會”。但模型規模被壓縮時，穩定性和記憶能力都會有損失，所以説小模型能力比大模型落後一個代際應該是常態。

from 吳炳見，Soul Capital 合夥人：大模型的發展規律和互聯網有很大差異，更應該參照芯片行業的發展規律。50 年代，仙童發明了半導體後，隨着芯片能力的提升，先後出現了計算器、PC、遊戲機、移動手機、MP3、智能手機這些國民級的電子產品，這背後是摩爾定律的推動，“處理器的性能每兩年翻一倍，價格下降為之前的一半”。OpenAI 推出 ChatGPT 只有一年多時間，基於大模型的應用的出現也是有先後順序的，在要出計算器、隨身聽的時候，不要硬造 PC；在要出湯姆貓的時候，不要硬造抖音，造不出來。歷史無法跳躍，只能經歷。Scaling Law 會成為 AI 時代的摩爾定律，堆算力，堆參數。隨着模型能力的提升，基於大模型不是造應用，而是造虛擬人，起初是本科生，之後是白領，之後是某些領域的專家比如醫生、律師，後面會造出科學家，最終極的形態是 AGI，隨着模型智能程度的提升，這些虛擬人會依次解鎖。以造人的標準來看待當下大模型的能力，就知道需要多少智能，和中間的差距了。而現在我們常説的 “AIGC 應用”，可能只是 AI 發展史上的過渡階段，是因為當下的模型還造不出虛擬人，所以先造輔助軟件。AI 和移動互聯網的差異，遠大於移動互聯網和互聯網的差異，先跳下來，刷一遍自己的 ROM 很重要。在真實工作環境中，我們 90% 的時間是在解決那 10% 的難題，大模型能否解決好那 10% 的難題是一道及格線，過不了這個及格線，大模型只能做副駕 copilot，充其量是一個好用的軟件；過了這個及格線，大模型就是主駕，我們開始為主駕付工資。

本文作者：Jason，來源：信息平權，原文標題：《AMD 小會、高通發佈 NPU 報告、推薦算法》