NVIDIA regrets losing key talent from DeepSeek? The U.S. lets go of AI "Qian Xuesen," and Harvard professor is heartbroken

DeepSeek 給美國造成的威脅，還在加劇。

就在昨天，DeepSeek 的日活數已經達到 ChatGPT 的 23%，每日應用下載量接近 500 萬！

a16z 聯創 Marc Andreessen 發文

誰能想到，做出 DeepSeek 關鍵貢獻的人才，本來是可能留在美國的。

最近哈佛大學教授曝出這一驚人事實：DeepSeek 多模態團隊的第 4 位工程師，本來可以拿到英偉達的全職 offer。

然而最終，他選擇歸國加入 DeepSeek，由此的後果就是，美國在 AI 領域的主導地位被動搖，相關公司市值蒸發一萬億，全球 AI 格局也被徹底掀翻。

這種結果是陰錯陽差，還是一種必然？

美國錯失 DeepSeek，讓「錢學森」再次回國

近日，政治學家、哈佛大學教授、前國防計劃助理部長 Graham Allison，在 X 上提問：「誰曾錯失了 DeepSeek」？

他在 X 痛心發帖稱，DeepSeek 已刷新對美國 AI 地位的認知，而美國原本有機會留住 DeepSeek 的關鍵員工之一潘梓正（Zizheng Pan）：

（DeepSeek 超越 OpenAI 相關模型）顛覆了我們對美國 AI 主導地位的大部分了解。

這也生動地提醒我們，美國必須多麼認真地吸引和留住人才，包括來自中國的人才。

潘梓正，是 DeepSeek 多模態團隊的第 4 位多工程師，在開發 DeepSeek 的 R1 模型方面發揮了重要作用。

回國之前，他在英偉達實習過 4 個月，而且拿到了英偉達的全職邀約。

Graham Allison 認為潘梓正之所以如此，是因為硅谷公司未能在美國為他提供這樣做的機會。

這種「人才流失」，讓 Graham Allison 痛心疾首，甚至將潘梓正回國提升到錢學森歸國的高度！

像錢學森、黃仁勳以及馬斯克這樣的的超級人才可以用腳投票，可以在任何地方施展才華、大張宏圖。

他認為，美國應該盡力避免這樣的「人才流失」：

美國的大學教練，在尋找並招募世界上最有才華的運動員。

在中美科技競爭中，美國應該盡一切努力避免失去更多的錢學森和潘梓正這樣的人才。

英偉達憾失人才

英偉達的高級研究科學家禹之鼎，在得知 DeepSeek 超越 ChatGPT 登頂 App Store 後，分享了當時的實習生潘梓正回國的選擇，對他現在取得的成就感到高興，並分享了對 AI 競爭的觀點：

在 2023 年夏季，梓正是英偉達的實習生。後來，當我們考慮是否給他提供全職工作時，他毫不猶豫地選擇了加入 DeepSeek。

當時，DeepSeek 的多模態團隊只有 3 個人。

梓正當時的決定，至今我仍印象深刻。

在 DeepSeek，他做出了重要貢獻，參與了包括 DeepSeek-VL2、DeepSeek-V3 和 DeepSeek-R1 等多個關鍵項目。我個人對他的決定和所取得的成就感到非常高興。

梓正的案例是我近年來看到的一個典型例子。很多最優秀的人才都來自中國，而這些人才並不一定只能在美國公司取得成功。相反，我們從他們身上學到了很多東西。

早在 2022 年的自動駕駛（AV）領域，類似的「斯普特尼克時刻」就已經發生過，並且將在機器人技術和大語言模型（LLM）行業繼續發生。

我熱愛英偉達，並希望看到它繼續成為 AGI 和通用自主系統發展的重要推動力。但如果我們繼續編織地緣政治議程，製造對中國研究人員的敵對情緒，我們只會自毀前程，失去更多的競爭力。

我們需要更多的優秀人才、更高的專業水平、更強的學習能力、創造力以及更強的執行力。

潘梓正是 DeepSeek-VL2 的共同一作

在 DeepSeek 超越 ChatGPT 登頂 App Store 下載榜第一時，潘梓正在 X 上分享了自己的感受：

潘梓正 2024 年全職加入 DeepSeek，擔任研究員。他曾在英偉達 AI 算法組擔任研究實習生。

2021 年，潘梓正加入蒙納士大學（Monash University）ZIP Lab 攻讀計算機科學博士，導師是 Bohan Zhuang 教授和 Jianfei Cai 教授。在此之前，他分別獲得阿德萊德大學（University of Adelaide）計算機科學碩士和哈爾濱工業大學（威海）軟件工程學士學位。

在博士期間，潘梓正的研究興趣主要集中在深度神經網絡的效率方面，包括模型部署、Transformer 架構優化、注意力機制、 推理加速和內存高效的訓練。

Lex Fridman 硬核播客，揭秘中國 AI 新星如何撼動全球格局

就在最近，Lex Fridman 放出了一期長達 5 小時的播客，邀請了 AI2 的模型訓練專家 Nathan Lambert 和 Semianalysis 硬件專家 Dylan Patel。

在這期信息量爆棚的談話中，他們全程聚焦 DeepSeek，討論了這顆中國 AI 新星如何撼動全球格局、MoE 架構 +MLA 的技術雙刃、DeepSeek 開源倒逼行業開放進程、中國式極限優化之道的硬件魔術等。

DeepSeek 到底用沒用 OpenAI 數據

這次，幾位大佬的談話內容可謂相當犀利，直指問題核心。

比如這個關鍵問題：DeepSeek 究竟用沒用 OpenAI 的數據？

此前，OpenAI 公開表示，DeepSeek 使用了自家的模型蒸餾。

《金融時報》乾脆説，「OpenAI 有證據表明 DeepSeek 用了他們的模型來進行訓練」

這在道德和法律上站得住腳嗎？

雖然 OpenAI 的服務條款規定，不許用户使用自家模型的輸出來構建競爭對手。但這個所謂的規則，其實正是 OpenAI 虛偽的體現。

Lex Fridman 表示：他們和大多數公司一樣，本來就是在未經許可的情況下，使用互聯網上的數據進行訓練，並從中受益的。

大佬們一致認為，OpenAI 聲稱 DeepSeek 用其模型訓練，就是在試圖轉移話題、讓自己獨贏。

而且，過去幾天還有很多人把 DeepSeek 的模型蒸餾到 Llama 中，因前者在推理上運行很複雜，而 Llama 很容易提供服務，這違法嗎？

DeepSeek 的訓練成本，為何如此之低

Dylan Patel 表示，DeepSeek 的成本涉及兩項關鍵的技術：一個是 MoE，一個就是 MLA（多頭潛注意力）。

MOE 架構的優勢在於，一方面，模型可以將數據嵌入到更大的參數空間中，另一方面，在訓練或推理時，模型只需要激活其中一部分參數，從而大大提升效率。

DeepSeek 模型擁有超過 6000 億個參數，相比之下，Llama 405B 有 4050 億參數。從參數規模上看，DeepSeek 模型擁有更大的信息壓縮空間，可以容納更多的世界知識。

但與此同時，DeepSeek 模型每次只激活約 370 億個參數。也就是説，在訓練或推理過程中，只需要計算 370 億個參數。相比之下，Llama 405B 模型每次推理卻需要激活 4050 億個參數。

MLA 主要用於減少推理過程中的內存佔用，在訓練過程也是如此，它利用了一些巧妙的低秩近似數學技巧。

Nathan Lambert 表示，深入研究潛注意力的細節，會發現 DeepSeek 在模型實現方面下了很大功夫。

因為，除了注意力機制，語言模型還有其他組件，例如用於擴展上下文長度的嵌入。DeepSeek 採用的是旋轉位置編碼（RoPE）。

將 RoPE 與傳統的 MoE 結合使用，需要進行一系列操作，例如，將兩個注意力矩陣進行復數旋轉，這涉及到矩陣乘法。

DeepSeek 的 MLA 架構由於需要一些巧妙的設計，因此實現的複雜性大大增加。而他們成功地將這些技術整合在一起，這表明 DeepSeek 在高效語言模型訓練方面走在了前沿。

Dylan Patel 表示，DeepSeek 想方設法提高模型訓練效率。其中一個方法就是不直接調用 NVIDIA 的 NCCL 庫，而是自行調度 GPU 之間的通信。

DeepSeek 的獨特之處在於，他們通過調度特定的 SM（流式多處理器）來管理 GPU 通信。

DeepSeek 會精細地控制哪些 SM 核心負責模型計算，哪些核心負責 allreduce 或 allgather 通信，並在它們之間進行動態切換。這需要極其高深的編程技巧。

DeepSeek 為何如此便宜

在所有聲稱提供 R1 服務的公司中，定價都遠高於 DeepSeek API，而且大多服務無法正常工作，吞吐量極低。

讓大佬們震驚的是，一方面中國取得了這種能力，另一方面價格如此之低。（R1 的價格，比 o1 便宜 27 倍）

訓練為什麼便宜，上文已經提到。為什麼推理成本也這麼低呢？

首先，就是 DeepSeek 在模型架構上的創新。MLA 這種全新的注意力機制，跟 Transformer 注意力機制不同。

這種多頭潛注意力，可以將注意力機制的內存佔用減少大約 80% 到 90%，尤其有助於處理長上下文。

而且，DeepSeek 和 OpenAI 的服務成本有巨大差異，部分原因是 OpenAI 的利潤率非常高，推理的毛利率超過了 75%。

因為 OpenAI 目前是虧損的，在訓練上花費了太多，因此推理的利潤率很高。

接下來亮點來了，幾位大佬放飛想象，猜測這會不會是一種陰謀論：DeepSeek 精心策劃了這次發佈和定價，做空英偉達和美國公司的股票，配合星際之門的發佈……

但這種猜測立馬遭到了反駁，Dylan Patel 表示，他們只是趕在農曆新年前把產品儘快發佈而已，並沒有沒有打算搞個大的，否則為什麼選在聖誕節後一天發佈 V3 呢？

中國的工業能力，已經遠超美國

美國無疑在 GPU 等芯片領域領先於中國。

不過，對 GPU 出口管制，就能完全阻止中國嗎？不太可能。

Dylan Patel 認為，美國政府也清楚地認識到這一點， 而 Nathan Lambert 認為中國會制造自己的芯片。

中國可能擁有更多的人才、更多的 STEM 畢業生、更多的程序員。美國當然也可以利用世界各地的人才，但這未必能讓美國有額外的優勢。

真正重要的是計算能力。

中國擁有的電力總和，數量已經驚人。中國的鋼鐵廠，其規模相當於整個美國工業的總和，此外還有需要龐大電力的鋁廠。

即使美國的星際之門真的建成，達到 2 吉瓦電力，仍小於中國最大的工業設施。

就這麼説吧，如果中國建造世界上最大的數據中心，只要有芯片，馬上就能做到。所以這只是一個時間問題，而不是能力問題。

現在，發電、輸電、變電站以及變壓器等構建數據中心所需的東西，都將制約美國構建越來越大的訓練系統，以及部署越來越多的推理計算能力。

相比之下，如果中國繼續堅信 Scaling Law，就像納德拉、扎克伯格和劈柴等美國高管那樣，甚至可以比美國更快地實現。

因此，為了減緩中國 AI 技術的發展，確保 AGI 無法被大規模訓練，美國出台了一系列禁令——通過限制 GPU、光刻機等關鍵要素的出口，意圖「封殺」整個半導體產業。

OpenAI o3-Mini 能追上 DeepSeek R1 嗎？

接下來，幾位大佬對幾個明星推理模型進行了實測。

有趣的是，谷歌的 Gemini Flash Thinking，無論從價格還是性能上來看都優於 R1，而且在去年 12 月初就發佈了，然而卻無人關心……

對此，幾位大佬的體感是，它的行為模式不如 o1 那樣富有表現力，應用場景較窄。o1 在特定任務上可能不是最完美，但靈活性和通用性更強。

Lex Frieman 則表示，自己個人非常喜歡 R1 的一點，是它會展示完整的思維鏈 token。

在開放式的哲學問題中，我們作為能欣賞智能、推理和反思能力的人類，閲讀 R1 的原始思維鏈 token，會感受到一種獨特的美感。

這種非線性的思維過程，類似於詹姆斯·喬伊斯的意識流小説《尤利西斯》和《芬尼根的守靈夜》，令人着迷。

相比之下，o3-mini 給人的感覺是聰明、快速，但缺乏亮點，往往比較平庸，缺乏深度和新意。

從下圖中可以看到，從 GPT-3 到 GPT-3.5，再到 Llama，推理成本呈指數級下降趨勢。

DeepSeek R1 是第一個達到如此低成本的推理模型，這個成就很了不起，不過，它的成本水平並沒有超出專家們預期的範圍。

而在未來，隨着模型架構的創新、更高質量的訓練數據、更先進的訓練技術，以及更高效的推理系統和硬件（比如新一代 GPU 和 ASIC 芯片），AI 模型的推理成本還會持續下降。

最終，這將解鎖 AGI 的潛力。

誰將贏得 AGI 競賽

最後，幾位大佬預測了一番，誰將是 AGI 競賽的最終贏家。

谷歌似乎是領跑者，因為擁有基礎設施優勢。

但在輿論場上，OpenAI 似乎是領先者。它在商業化方面已經走在了最前面，擁有目前 AI 領域最高的收入。

目前，誰究竟在 AI 領域賺到錢了，有人盈利了嗎？

大佬們盤了盤後發現，從財務報表上看，微軟在 AI 領域已經實現了盈利，但在基礎設施方面已經投入了鉅額資本支出。谷歌、亞馬遜也是如此。

Meta 獲取的鉅額利潤來自於推薦系統，並非來自 Llama 等大模型。

Anthropic 和 OpenAI 顯然還沒盈利，否則就不需要繼續融資了。不過單從營收和成本來看，GPT-4 已經開始盈利了，因為它的訓練成本只有幾億美元。

最終，誰都無法預料，OpenAI 是否會突然隕落。不過目前，各家公司還會繼續融資，因為一旦 AGI 到來，AI 帶來的回報難以估量。

人們可能並不需要 OpenAI 花費數十億美元，去研發「下一個最先進的模型」，只需要 ChatGPT 級別的 AI 服務就足夠了。

推理、代碼生成、AI 智能體、計算機使用，這些都是 AI 未來真正有價值的應用領域。誰不發力，誰就可能被市場淘汰。

新智元，原文標題：《英偉達憾失 DeepSeek 關鍵人才？美國放走 AI「錢學森」，哈佛教授痛心疾首》