挑戰英偉達，需要另闢蹊徑

Groq 是近期 AI 芯片界的一個明星。原因是其號稱比英偉達的 GPU 更快。3 月 2 日，據報道，Groq 收購了一家人工智能解決方案公司 Definitive Intelligence。這是 Groq 在 2022 年收購高性能計算和人工智能基礎設施解決方案公司 Maxeler Technologies 後的第二次收購。Groq 來勢很兇。

自從 ChatGPT 爆火以來，英偉達憑藉 GPU 在市場上獨孤求敗，雖然也出現了不少挑戰者，但都沒有像 Groq 這般引人注意。

成立於 2016 年的 Groq，其創始人是被稱為 “TPU 之父” 的前谷歌員工喬納森·羅斯，團隊中成員不乏有谷歌、亞馬遜、蘋果的前員工。這幫人通過簡單的設計開發了一款 LPU（語言處理單元）推理引擎。就是這個 LPU 芯片讓 Groq 在 AI 市場上異軍突起，引得大家刷屏。據悉，LPU 可在當今大火的 LLM（大語言模型）中展現出非常快速的推理速度，比 GPU 有顯著提升。不要小看 AI 推理的市場，2023 年第四季度，英偉達有 4 成收入來源於此。因此，眾多英偉達的挑戰者是從推理切入的。

那麼，它是如何做到速度快的？為何能夠叫板英偉達？在芯片架構和技術路徑上有哪些可圈可點之處？。。。。對於這款引發廣泛關注的芯片，很多人也希望能夠了解其背後究竟有哪些玄妙？近日，半導體行業觀察有幸採訪到了北京大學集成電路學院，長聘副教授孫廣宇，孫教授為我們提供了一些專業見解，至於網上對 Groq 價格的各種推測，其比性能等估算更復雜，本文在此將不作過多探討，而是側重於技術層面的解析，以期為讀者帶來一些啓發。

2）影響模型質量的兩個最大因素是模型大小 (參數數量) 和序列長度 (輸入查詢的最大大小)。模型大小可以被認為是一個搜索空間：空間越大，效果越好。例如，70B 參數模型通常會比 7B 參數模型產生更好的答案。序列長度類似於上下文。更大的序列長度意味着更多的信息——更多的上下文——可以輸入到模型中，從而導致更相關和相關的響應。

在 Anyscale 的 LLMPerf 排行榜上（這是一個針對大型語言模型（LLM）推理提供商的性能、可靠性和效率評估的基準測試），Groq LPU 在其首次公開基準測試中就取得了巨大成功。使用 Groq LPU 推理引擎運行的 Meta AI 的 Llama2 70B，在輸出 tokens 吞吐量上，實現了平均 185 tokens/s 的結果，比其他基於雲的推理提供商快了 3 到 18 倍。對於首個 Token 返回時間（TTFT），Groq 達到了 0.22 秒。所有 Llama 2 的計算都在 FP16 上完成。

這是如何實現的呢？

LPU 推理引擎主要攻克 LLM 的兩個瓶頸——計算量和內存帶寬。Groq LPU 能夠與英偉達叫板，其純 SRAM的方案起到了很大的作用。

不同於英偉達 GPU 所使用的 HBM 方案，Groq 捨棄了傳統的複雜儲存器層級，將數據全部放置在片上 SRAM 中，利用 SRAM 的高帶寬（單芯片 80TB/s），可以顯著提升 LLM 推理中帶寬受限的（Memory Bound）部分，比如 Decode Stage 計算和 KV cache 的訪存。SRAM 本身是計算芯片必須的存儲單元，GPU 和 CPU 等利用 SRAM 來搭建片上的高速緩存，在計算過程中儘可能減少較慢的 DRAM 訪問。但由於單個芯片的 SRAM 容量有限，所以涉及到數百個芯片協同處理，這也涉及芯片間的互連設計，以及系統層面的算法部署等。

Groq 提到，由於沒有外部內存帶寬瓶頸，LPU 推理引擎提供了比圖形處理器更好的數量級性能。

這種純 SRAM 的架構在最近幾年一直被學術界和工業界所討論，比如華盛頓大學在文章【Chiplet Cloud: Building AI Supercomputers for Serving Large Generative Language Models】【2】中提到，與 DDR4 和 HBM2e 相比，SRAM 在帶寬和讀取能耗上具有數量級的優勢，從而獲得更好的 TCO/Token 設計，如下圖所示。市面上，包括 Groq 以及其他公司如 Tenstorrent、Graphcore、Cerebras 和國內的平頭哥半導體（含光 800）、後摩智能（H30）等，都在嘗試通過增加片上 SRAM 的容量和片上互連的能力來提升數據交互的效率，從而在 AI 處理芯片領域尋求與英偉達不同的競爭優勢。

純 SRAM 架構的優勢在哪裏？孫教授指出主要涵蓋兩方面：第一個方面是 SRAM 本身有着高帶寬和低延遲優勢，可以顯著提升系統在處理訪存受限算子的能力。另一方面，由於 SRAM 的讀寫相比 DRAM 具有確定性，純 SRAM 的架構給軟件提供了確定性調度的基礎。編譯器可以細粒度地排布計算和訪存操作，最大化系統的性能。對於 GPU 來説，由於 HBM 訪問延遲會有波動，Cache 層級的存在也提升了訪存延遲的不確定性，增加了編譯器做細粒度優化的難度。

眾所周知，英偉達 GPU 所使用的 HBM 方案面臨着成本高、散熱、產能不足的難題。那麼，這種純 SRAM 架構又有哪些挑戰呢？

孫教授分析到：“純 SRAM 架構的挑戰也很明顯，主要來自於容量的限制。Groq 等芯片基本上都是在CNN時代進行的立項和設計，對於這個階段的模型，單芯片百兆 SRAM 來作為存儲是夠用的。但是在大模型時代，由於模型大小通常可以達到上百 GB，而且 KV-Cache（一種關鍵數據結構）的存儲也非常佔用內存，單芯片 SRAM 的容量在大模型場景下顯得捉襟見肘。”

他以 Groq 的方案為例來説，為了滿足 70B 模型的推理需求，它集成了 576 個獨立的芯片，而集成如此多的芯片，對芯片間、節點間互聯的帶寬和延遲要求也非常的高。576 芯片的集羣只有 100GB 的 SRAM 容量。模型需要通過細粒度的流水線並行（PP）和張量並行（TP）的方式進行切分，來保證每個芯片分到的模型分塊在 200MB 以內。細粒度切分的代價是芯片間通信的數據量和開銷顯著上升，雖然 Groq 在互聯方面也進行了定製優化來降低延遲，但是通過簡單估算可以發現，目前芯片間數據傳輸同樣可能成為性能瓶頸。”

另一方面，由於容量的限制，其留給推理時的激活值的存儲空間十分受限。特別是目前 LLM 推理需要保存 KV-Cache，這是隨着輸入輸出長度線性增長的數據。通常對於 70B 模型，即使用了特殊技術進行 KV-Cache 壓縮（GQA），32K 的上下文長度需要為每個請求保留 10GB 左右的 KV-Cache，這意味着在 32K 場景下同時處理的請求數最大僅為 3。對於 Groq 來説，由於依賴流水線並行（TP），需要至少流水線級數這麼多的請求來保證系統有較高利用率，較低的併發數會顯著降低系統的資源利用率。所以，如果未來長上下文（Long-Context）的應用場景，在 100K 甚至更長的上下文下，純 SRAM 架構能支持的併發數會非常受限。換一個角度看，對於邊緣場景，如果採用更激進的 MQA、更低的量化比特，可能會使 SRAM 架構更為適用。

如果 Groq 這類芯片確實能夠找到合適的應用場景，應該會讓算法從業者更積極挖掘模型壓縮、KV-Cache 壓縮等算法，來緩解純 SRAM 架構的容量瓶頸。一些對推理延遲有強需求的算法和應用，如 AutoGPT, 各種 Agent 算法等，整個算法流程需要鏈式處理推理請求的，會更有可能做到實時處理，滿足人與真實世界交互的需求。

因此，在孫教授看來，採用純 SRAM 還是 HBM 與未來模型發展和應用的場景非常相關。對於數據中心這類採用較大的 batch 數、較長的 sequence length、追求吞吐的場景，HBM 這類大容量存儲應該更加合適。對於機器人、自動駕駛等邊緣側，batch 通常為 1，sequence length 有限，追求延時的場景，尤其考慮到模型有機會繼續壓縮，純 SRAM 的場景應該有更大的機會。另外，還可以同時期待一些新的存儲介質的發展，能否將片上存儲容量從百 MB 突破到 GB 的規模。