Llama 3 returns as a king, can it rival GPT-4 and catch up with closed-source models with open-source models?

開源大模型 Llama 3 引發 AI 圈熱議，Meta 發佈了兩款不同規模的模型，未來還將推出更多版本。該模型有望超過 4000 億參數，並與 Claude 3 進行競爭。Meta 首席執行官宣佈基於 Llama 3 模型的 AI 助手現已覆蓋多個應用，並推出了圖像生成器。Llama 3 的出現與 OpenAI 的 GPT-4 形成直接競爭，Meta 堅持開源路線，為開源模型扳回一局。正式版的 Llama 3 預計將於今年 7 月推出。知情人士透露，研究人員尚未對其進行微調，也尚未決定是否為多模態模型。Llama 3 被稱為性能最好的開源模型之一。

4 月 18 日，AI 圈再迎重磅消息，Meta 帶着號稱 “有史以來最強大的開源大模型” Llama 3 登場了。

Meta 本次開源了 Llama 3 8B 與 70B 兩款不同規模的模型，供外部開發者免費使用，未來幾個月，Meta 將陸續推出一系列具備多模態、多語言對話、更長上下文窗口等能力的新模型。其中，大版本的 Llama 3 將有超過 4000 億參數有望與 Claude 3“一較高下”。

與此同時，Meta 首席執行官扎克伯格宣佈，基於最新的 Llama 3 模型，Meta AI 助手現在已經覆蓋 Instagram、WhatsApp、Facebook 等全系應用，並單獨開啓了網站，還有一個圖像生成器，可根據自然語言提示詞生成圖片。Llama 3 的出現直接對標 OpenAI 的 GPT-4，與 “並不 Open” 的 OpenAI 截然不同，在 AI 圈圍繞開源或閉源的路線爭論不休之時，Meta 堅定沿着開源路線朝 AGI 的聖盃發起了衝鋒，為開源模型扳回一局。

知情人士透露，研究人員尚未開始對 Llama 3 進行微調，還未決定 Llama 3 是否將是多模態模型。有消息稱，正式版的 Llama 3 將會在今年 7 月正式推出。

Meta AI 首席科學家、圖靈獎得主 Yann LeCun 一邊為 Llama 3 的發佈 “搖旗吶喊”，一邊預告未來幾個月將推出更多版本，稱 Llama 3 8B 和 Llama 3 70B 是目前同體量下，性能最好的開源模型。llama 3 8B 在某些測試集上性能比 llama 2 70B 還要強。

就連馬斯克也現身於該評論區，一句簡潔的 “Not bad” 表達了對 Llama 3 的認可和期待。

英偉達高級科學家 Jim Fan 認為，Llama 3 的推出已經脱離了技術層面的進步，更是開源模型與頂尖閉源模型可分庭抗禮的象徵。

從 Jim Fan 分享的基準測試可以看出，Llama 3 400B 的實力幾乎媲美 Claude“超大杯” 以及新版 GPT-4 Turbo，將成為 “分水嶺”，相信它將釋放巨大的研究潛力，推動整個生態系統的發展，開源社區或將能用上 GPT-4 級別的模型。

公佈當天恰逢斯坦福大學教授，AI 頂尖專家吳恩達的生日，吳恩達直言，Llama 3 的發佈是自己這輩子收到過的最好的禮物，謝謝你 Meta！

OpenAI 創始成員之一、特斯拉前 AI 總監 Andrej Karpathy 也對 Llama 3 表達了讚許。作為大語言模型領域的先驅之一，Karpathy 認為 Llama3 的性能已接近 GPT-4 的水平：

Llama3 是 Meta 發佈的看起來非常強大的模型。堅持基本原則，在可靠的系統和數據工作上花費大量高質量時間，探索長期訓練模型的極限。我也對 400B 模型非常興奮，它可能是第一個 GPT-4 級別的開源模型。我想很多人會要求更長的上下文長度。

我希望能有比 8B 更小參數，理想規模在 0.1B 到 1B 左右的模型，用於教育工作、(單元) 測試、嵌入式應用等。

Rebuy 公司 AI 總監、深度學習領域的博士 Cameron R. Wolfe 認為，Llama 3 證明了訓練優秀大語言模型的關鍵在於數據質量。他詳細分析了 Llama 3 在數據方面做出的努力，包括：

1）15 萬億個 token 的預訓練數據: 比 Llama 2 多 7 倍，比 DBRX 的 12 萬億個還要多；

2）更多代碼數據: 預訓練過程中包含更多代碼數據，提升了模型的推理能力；

3）更高效的 tokenizer: 擁有更大的詞彙表（128K tokens），提高了模型的效率和性能。

在 Llama 3 發佈後，小扎向媒體表示，“我們的目標不是與開源模型競爭，而是要超過所有人，打造最領先的人工智能。” 未來，Meta 團隊將會公佈 Llama 3 的技術報告，披露模型更多的細節。

這場關於開源與閉源的辯論還遠未結束，暗中蓄勢待發的 GPT-4.5/5 也許會在今年夏天到來，AI 領域的大模型之戰還在上演。