1800 億參數，世界頂級開源大模型 Falcon 官宣！碾壓 LLaMA 2，性能直逼 GPT-4

一經發布，地表最強開源模型 Falcon 180B 直接霸榜 HF。3.5 萬億 token 訓練，性能直接碾壓 Llama2。

一夜之間，世界最強開源大模型 Falcon 180B 引爆全網！

1800 億參數，Falcon 在 3.5 萬億 token 完成訓練，直接登頂 Hugging Face 排行榜。

基準測試中，Falcon 180B 在推理、編碼、熟練度和知識測試各種任務中，一舉擊敗 Llama 2。

甚至，Falcon 180B 能夠與谷歌 PaLM 2 不差上下，性能直逼 GPT-4。

不過，英偉達高級科學家 Jim Fan 對此表示質疑，

- Falcon-180B 的訓練數據中，代碼只佔 5%。

而代碼是迄今為止對提高推理能力、掌握工具使用和增強 AI 智能體最有用的數據。事實上，GPT-3.5 是在 Codex 的基礎上進行微調的。

- 沒有編碼基準數據。

沒有代碼能力，就不能聲稱「優於 GPT-3.5」或「接近 GPT-4」。它本應是預訓練配方中不可或缺的一部分，而不是事後的微調。

- 對於參數大於 30B 的語言模型，是時候採用混合專家系統（MoE）了。到目前為止，我們只看到 OSS MoE LLM < 10B。

一起來看看，Falcon 180B 究竟是什麼來頭？

世界最強開源大模型

此前，Falcon 已經推出了三種模型大小，分別是 1.3B、7.5B、40B。

官方介紹，Falcon 180B 是 40B 的升級版本，由阿布扎比的全球領先技術研究中心 TII 推出，可免費商用。

這次，研究人員在基底模型上技術上進行了創新，比如利用 Multi-Query Attention 等來提高模型的可擴展性。

對於訓練過程，Falcon 180B 基於亞馬遜雲機器學習平台 Amazon SageMaker，在多達 4096 個 GPU 上完成了對 3.5 萬億 token 的訓練。

總 GPU 計算時，大約 7,000,000 個。

Falcon 180B 的參數規模是 Llama 2（70B）的 2.5 倍，而訓練所需的計算量是 Llama 2 的 4 倍。

具體訓練數據中，Falcon 180B 主要是 RefinedWe 數據集（大約佔 85%）。

此外，它還在對話、技術論文，以及一小部分代碼等經過整理的混合數據的基礎上進行了訓練。

這個預訓練數據集足夠大，即使是 3.5 萬億個 token 也只佔不到一個 epoch。

官方自稱，Falcon 180B 是當前「最好」的開源大模型，具體表現如下：

在 MMLU 基準上，Falcon 180B 的性能超過了 Llama 2 70B 和 GPT-3.5。

在 HellaSwag、LAMBADA、WebQuestions、Winogrande、PIQA、ARC、BoolQ、CB、COPA、RTE、WiC、WSC 及 ReCoRD 上，與谷歌的 PaLM 2-Large 不相上下。

另外，它在 Hugging Face 開源大模型榜單上，是當前評分最高（68.74 分）的開放式大模型，超越了 LlaMA 2（67.35）。

Falcon 180B 上手可用

與此同時，研究人員還發布了聊天對話模型 Falcon-180B-Chat。該模型在對話和指令數據集上進行了微調，數據集涵蓋了 Open-Platypus、UltraChat 和 Airoboros。

現在，每個人都可以進行 demo 體驗。

地址：https://huggingface.co/tiiuae/falcon-180B-chat

Prompt 格式

基礎模型沒有 Prompt 格式，因為它並不是一個對話型大模型，也不是通過指令進行的訓練，所以它並不會以對話形式回應。

預訓練模型是微調的絕佳平台，但或許你不該直接使用。其對話模型則設有一個簡單的對話模式。

System: Add an optional system prompt hereUser: This is the user inputFalcon: This is what the model generatesUser: This might be a second turn inputFalcon: and so on

Transformers

從 Transfomers 4.33 開始，Falcon 180B 可以在 Hugging Face 生態中使用和下載。

確保已經登錄 Hugging Face 賬號，並安裝了最新版本的 transformers:

pip install--upgrade transformershuggingface-cli login

bfloat16

以下是如何在 bfloat16 中使用基礎模型的方法。Falcon 180B 是一個大模型，所以請注意它的硬件要求。

對此，硬件要求如下：

可以看出，若想對 Falcon 180B 進行全面微調，至少需要 8X8X A100 80G，如果僅是推理的話，也得需要 8XA100 80G 的 GPU。

from transformers import AutoTokenizer, AutoModelForCausalLMimport transformersimport torchmodel_id = "tiiuae/falcon-180B"tokenizer = AutoTokenizer.from_pretrained(model_id)model = AutoModelForCausalLM.from_pretrained(    model_id,    torch_dtype=torch.bfloat16,    device_map="auto",)prompt = "My name is Pedro, I live in"inputs = tokenizer(prompt, return_tensors="pt").to("cuda")output = model.generate(    input_ids=inputs["input_ids"],    attention_mask=inputs["attention_mask"],    do_sample=True,    temperature=0.6,    top_p=0.9,    max_new_tokens=50,)output = output[0].to("cpu")print(tokenizer.decode(output)

可能會產生如下輸出結果：

My name is Pedro, I live in Portugal and I am 25 years old. I am a graphic designer, but I am also passionate about photography and video.IlovetotravelandIamalwayslookingfornewadventures.Ilovetomeetnewpeopleandexplorenewplaces.

使用 8 位和 4 位的 bitsandbytes

此外，Falcon 180B 的 8 位和 4 位量化版本在評估方面與 bfloat16 幾乎沒有差別！

這對推理來説是個好消息，因為用户可以放心地使用量化版本來降低硬件要求。

注意，在 8 位版本進行推理要比 4 位版本快得多。要使用量化，你需要安裝「bitsandbytes」庫，並在加載模型時啓用相應的標誌：

model = AutoModelForCausalLM.from_pretrained(    model_id,    torch_dtype=torch.bfloat16,    **load_in_8bit=True,**    device_map="auto",)

對話模型

如上所述，為跟蹤對話而微調的模型版本，使用了非常直接的訓練模板。我們必須遵循同樣的模式才能運行聊天式推理。

作為參考，你可以看看聊天演示中的 [format_prompt] 函數：

def format_prompt(message, history, system_prompt):    prompt = ""    if system_prompt:        prompt += f"System: {system_prompt}\n"    for user_prompt, bot_response in history:        prompt += f"User: {user_prompt}\n"        prompt += f"Falcon: {bot_response}\n"        prompt += f"User: {message}\nFalcon:"    return prompt

從上可見，用户的交互和模型的回應前面都有 User: 和 Falcon: 分隔符。我們將它們連接在一起，形成一個包含整個對話歷史的提示。這樣，就可以提供一個系統提示來調整生成風格。