Meta Platforms is planning to release Llama 3 in July, with capabilities close to GPT-4, with up to 1.4 trillion parameters.

當地時間週三，科技媒體 The Information 援引知情人士報道，Meta 計劃在今年 7 月份發佈 Llama 3 大模型。

Llama 3 肩負的使命巨大。

報道稱，Meta 希望 Llama 3 能夠比肩 OpenAI 的 GPT-4，後者已經成為一個強大的多模態模型，不僅能夠處理更長的文本，還支持圖像輸入。

但 Meta 的一位員工透露，由於研究人員尚未開始對模型進行微調，因此公司尚未決定 Llama 3 是否是多模態的。微調是開發人員為現有模型提供額外數據的過程，以便大模型學習新信息或處理任務。

Meta 員工還説，Llama 3 最高可能擁有超過 1400 億個參數，相比之下，去年 7 月發佈的 Llama 2 的參數最高為 700 億。

據此前報道稱，GPT-4 模型參數規模約為 1.8 萬億，Llama 3 不到這一數字的十分之一。

另外，在推出 Llama 3 之前，Meta 還在嘗試克服 Llama 2 中發現的一個問題——無法處理任何有爭議的問題。

由於開發人員在 Llama 2 中增加了安全護欄，它會拒絕回答一系列被認為有爭議的問題。

據 Meta 員工稱，這些護欄使得 Llama 2 在公司高層領導以及模型研究人員眼中顯得 “過於安全”，研究人員計劃放鬆 Llama 3 在這一方面的限制，以便它更多地與用户互動，提供背景信息，而不僅僅是拒絕回答。

人們對 Llama 3 的期待與日俱增，但 Meta 仍面臨着曠日持久的人才競爭。

兩名知情人士稱，負責 Llama 2 和 Llama 3 安全工作的研究員 Louis Martin 已於本月離開公司。其中一位知情人士稱，強化學習負責人 Kevin Stone 也在本月離職。