Silicon Valley AI Inspection Report
此次硅谷 AI 考察報告總結了對微軟、Google、英偉達、Meta 等公司的學習與交流，強調 AI 技術已深度融入社會各個方面，且技術進步迅速。報告指出，AI 革命被視為人類歷史上的重大變革，可能是科技發展的巔峯。考察中，重點討論了大模型的底層技術、算力需求及行業應用，特別是 GPT 大模型的技術架構和其在實際應用中的潛力。
為了近距離了解硅谷 AI 前沿發展最新動向和第一手信息，近期，我們專程前往硅谷學習考察，先後參觀了微軟、Google、英偉達、Meta 等公司總部，與眾多業內人士進行了深入交流，收穫多多，感觸頗深。通過交流過所瞭解到的很多關於算力和大模型的前沿認知，與國內目前資本市場的理解不盡相同，甚至天差地別，這些差異也許藴含着重要的投資機遇。為此，特將此次學習考察收穫第一時間與各位分享。
此行中我們最大的感受是，在美國 AI 已經不是剛開始引發好奇與爭議的新鮮事物，而是像水和電一樣融入到社會生產、公司經營和百姓生活的各個方面。同時，AI 技術進步的速度處於一個 “寒武紀” 的時代，幾乎每一週甚至每一天，都有讓人興奮的新技術或者新產品橫空出世並且迅速應用到實際場景中，因而美國的 VC、PE 可以説是幾乎無孔不入，深入到 AI 各個方面去尋找投資機會。
以谷歌為代表的全球科技巨頭普遍認為，本次 AI 革命是人類未有之大變局，它是人類進步的一個空前的拐點。我們曾經指出，這一次，AI 將計算機歷史上最大想象空間的互聯網最高流量入口、公有云最大的市場、統一萬物的操作系統合三為一，即使這樣我們可能仍然低估了它的意義：這或將是人類發展史上最偉大的科技革命！
我們從底層技術路徑與算力、行業應用以及大模型與垂直模型的發展趨勢三個方面來介紹硅谷 AI 學習考察之行的收穫：
大模型的底層技術與算力需求
第一，GPT 大模型的底層技術是谷歌的 TransFormer，其核心的意義在於給定前文後推理出下一個最有可能的字符來進行輸出，一些巨頭的基礎大模型差別在於解碼單向結構還是編解碼雙向結構。ChatGPT 可以支持對前文 32000 個字符分析再推理出下一個字，這已經是一個非常龐大的數量級，且 ChatGPT 只允許根據前文分析推理不允許加入後文來分析推理（decoder only）。谷歌最先推出的大模型 Bard 是前後文都可以用來分析推理（編解碼雙向結構），但後來改成與 ChatGPT 類似只能用前文推理的 PaLM 大模型，可能最終還是這種模式更接近於我們人類語言的方式。
第二，大模型本質上更像依賴 AI 基礎設施的 “煉丹”，是推理並不是認知;目前視頻生成受制於對基礎設施的高要求仍存在一定侷限性。雖 ChatGPT 在 QA、總結等領域表現令人震驚，但實際上還是推理而不是認知，包括生成圖片其實本質上也是生成文本，但是在生成視頻上 AI 推理難度很大，因為視頻的每幀都是大量圖片，需要非常強大的 AI 基礎設施去支撐。形象地説，大模型訓練就像煉丹，AI 基礎設施越好火力越旺，但是一開始都不知道大模型到底有沒有用，有一定的運氣的成分在裏面。
第三，大模型後來者的追趕難度並沒有大家想象那麼大，中國大模型追趕海外也會比較快。OpenAI 本身並不是技術絕對領先於其他科技巨頭，核心在於專注於 TransForemer 往通用人工智能方向發展，而微軟、谷歌、Meta 都有很多賺錢的業務不太重視大模型。OpenAI 做出來之後大公司發現 AI 有前途，自己資源更好肯定會加緊追趕。硅谷專家預測 6 個月到 1 年以後，全球大廠大模型水平基本看齊。中國大模型追趕海外也會比較快，中國本身是一個很好的市場，現在大模型所有的技術大家都瞭解，無非就是資源的集中堆積。OpenAI 做這麼好都 “委身” 給微軟，本身就是因為訓練太花錢。
第四，海外 AI 巨頭算力儲備 A100 芯片基本在 50 萬片以上的量級，英偉達在把算力資源向雲服務方向發展，同時也在佈局自身大模型。目前海外巨頭平均 A100 量級估計在 50 萬片以上，H100 可能每家一兩百張，六七月份才能大規模上線。英偉達的實際優勢是軟硬件結合，它的硬件上面有一層框架 tensor RT，英偉達有幾百人的工程設計團隊做框架，比如 pytorch 必須有 Tensor RT 才能跑，這個中間層軟件一般硬件公司寫不了。英偉達不止做硬件，做 Tensor RT 還要做下層的基礎設施，未來英偉達有望形成一個雲品牌，同時自己也在佈局大模型，可能會對整個 AI 生態造成極大影響。
第五，推理芯片的市場遠大於訓練芯片，甚至也遠大於訓練市場加上雲端推理市場的總和，中國在邊緣 AI 算力市場空間非常大。邊緣計算應用於物聯網等小設備對製程要求不高，現在市場的格局分散，而推理芯片的市場遠大於訓練芯片，甚至也遠大於訓練市場加上雲端推理市場的總和，中國可以藉助自己的製造業優勢，把物聯網這一塊的製程降低，然後專用一點的這種小體量低算力的 AI 推理芯片推向市場，這是巨大機會。其實終端設備的體量是極大的，世界上能夠提供雲服務的提供商，數據中心的量跟海量的終端設備的數量比，芯片需求也還是很小的，大概就是 2/8 的比例。
在大模型的底層技術與算力需求方面，我們認為：
1、算力需求沒有天花板。當前大模型的主要算力需求來自於文字訓練，未來從文字到圖像再到視頻，從訓練到推理，從雲端到邊緣端，算力需求的持續高增長是確定性非常強的。
2、GPU 芯片的市場格局或將發生變化，在微軟等巨頭的強力支持下，AMD 較為薄弱的軟件生態有望取得長足進步，AMD 將對 NVIDIA 形成強有力的挑戰。
3、芯片是中美競爭的最大鴻溝。兩國達到一個數量級的算力儲備既是目前亟待解決的瓶頸，也是未來確定的投資機遇。尤其是在邊緣側推理算力，既是被低估的遠超訓練算力的市場，也給了中國展現製造業優勢的機會。
關於 AI 行業應用
第一，大模型適用於需要一定容錯率的行業，ChatGPT 開始做商業化付費使用 plus 其實並不賺錢，核心是為了擋掉一些亂用而把成本變得過高的用户。大模型應用在要求 100% 準確的行業目前難度比較大，更多的是比如客服諮詢、藝術創作、會議記錄、寫文章、數據分析等。大模型的商業化在 B 端已經看到成果了，比如：微軟的全家桶 office，減少製作時間、提升完成度、提升復購率；客服：給地產公司、醫療公司節省前端客服的成本。視頻製作：一鍵生成 visla.us 只能生成 demo 視頻等工具，就不需要找工作室了，節約人力成本。GPT4 到現在只有一個半月，市場還在討論如何應用，再過六個月能看到更多更清晰的落地。
第二，微軟 M365 產品主要在大規模交付、隱私和安全方面發力。微軟現在主要的目標是怎樣去大規模的交付，尤其是解決一些個性化的 AI 特徵，另外就是安全與隱私方面的準備。M365 是微軟現在最核心的產品。對於企業整個工作流，整個的協作平台，整個工具、存儲、安全都在 M365 的目錄下面。Copilot 是對於現有的產品線的生產能力做大幅度的提升。M365 有兩套不同的運算，依託 Azure 的數據中心做全球的擴張，M365 內部也有自己的數據中心；M365 是把 openAI 嵌入產品，不是用公用的 openAI。M365 在中國落地技術上有難度：1）運算資源；2）法規：數據透明度、敏感信息的管理。
我們認為，在美國，AI 技術的應用已經非常普遍，例如客服諮詢、藝術創作、會議記錄、寫文章、數據分析等眾多行業。但需要注意的是，目前大模型的應用應該定位在 “副駕駛員”，需要一定的容錯率而非確定性的決策工作。此外，以微軟為代表的海外大模型應用目前進入中國仍存在較大難度，這些難度不僅僅是在數據安全與合規政策的要求方面，大模型與算力資源的本地化部署方面也面臨諸多挑戰。
大模型與垂直模型的發展趨勢
第一，谷歌和微軟的大模型大概率閉源，而 Meta 可能是最重要的開源 “攪局者”。谷歌因為搜索會被大模型顛覆是沒有退路的，再開源大模型就沒有優勢了，而且 AI 未來會成為重要賺錢工具，所以大概率閉源。微軟則是完全依靠 OpenAI，希望 GPT 賦能 MS365 Copilot 等效率辦公工具和 Bing 搜索引擎，微軟大概率也不會把 AI 開源。而 Meta 最重要的業務是社交，AI 可以作為聊天助手，Meta 的思路是做出大模型然後開源，成為大模型裏面的 “攪局者”。比較來看，Meta 的大模型 1750 億參數，估計 GPT4 參數 5000 億左右，Meta 開源了超過 650 億個參數的大模型，估計精確度比 ChatGPT 低 20% 左右。很多公司和學習使用 Meta 的開源模型做微調，在模型參數很小的基礎下效果和 GPT 等差不多。開源的意義在於可以發動全世界上百萬工程師一起參與微調。
第二，大模型走向移動端是個趨勢。未來大模型開源生態中大公司做大模型，小公司做微調，大模型還會被簡化到在各個移動終端上，比如原來的 32 位浮點運算改成 INT8 等，提升運算速度。大語言模型在開源中會有一個很好的生態圈，大語言模型就像水、電一樣，在一些細分領域讓開源生態做。開源社區有些聰明的人可以把模型蒸餾的很小，比如把 36 位浮點運算改成 INT4，可以把體積縮小十倍，小到可以在電腦和手機端裝，未來可能會有很多有創意的應用開發出來。未來 iOS 或者安卓可能會內置大模型，以後所有的移動端應用跑一次給蘋果一定費用。
第三，大模型繼續發展中參數量的增加核心要考慮 ROI。處於科研角度，當然參數越多越好，但是處於商業使用的角度，每多一個參數就會增加成本，包含收集成本、訓練成本。ChatGPT 3.0 用了 1750B 的參數量，而 GitHub 上有一個仿 GBT 的模型只用了 70B 的參數就達到了 90%GPT 的效果。從商業應用層面，需要找 ROI 最高的參數。
第四，大模型最終會通吃一些通過互聯網即可獲得數據的垂直行業，可能無法覆蓋某些數據無法獲得的垂直領域模型。現在谷歌正在做一件事讓 AI 像人一樣實時學習互聯網的內容，而數據在線下無法獲得的領域，可能會出現線上的大模型和本地模型做交互的形式，但這個涉及難度比較大的耦合問題。
我們認為：
1、 中國可能是以 Meta 為代表的開源大模型的最大受益者。
2、我們對於國內大模型追趕全球領先水平的進度應該保持信心，在已經給定了技術路線方向與開源大模型基礎上去追趕，實際上節省了從頭開始的試錯成本。尤其是對大模型通用性要求並不高的垂直行業龍頭，藉助開源大模型可以迅速搭建垂直大模型，加快垂直領域的應用落地。
3、大模型部署在邊緣側與移動端是一個必然的趨勢，尤其在近期谷歌發佈移動端大模型和 ChatGPT 在蘋果手機上的 App 正式上線之後，這一趨勢逐步被市場認知，大模型是非標準化的各類 AIoT 終端等待已久的統一操作系統。
華爾街見聞特邀民生證券首席計算機分析師呂偉推出「尋找下一個 “英偉達”」大師課，一堂課講清 AI 全產業鏈投資機會，歡迎點擊此處加入學習。
—《尋找下一個 “英偉達”》課程表 —
