馬斯克怒告 OpenAI 案解密：Ilya 看到了什麼？125 萬億參數 Q* 細節曝光，53 頁 PDF 全網瘋轉
馬斯克起訴 OpenAI 案解密，揭示了 Q* 的重大細節。Q* 是 GPT-8，原計劃於 2027 年發佈，參數為 125 萬億。馬斯克的起訴可能會導致 Q* 的發佈時間延遲。同時，OpenAI 的 CEO Altman 發表推文表示，目前發生的一切只是新瓶裝舊酒，暗示風暴中心仍保持平靜。但關於 Ilya 看到了什麼，仍是馬斯克起訴案的未解之謎。馬斯克在去年表示，Ilya 是一個道德良好的人，不會輕易採取過激行動。總結來説，本案涉及馬斯克起訴 OpenAI、Q* 細節曝光以及 Altman 的推文回應等。
現在，馬斯克起訴 OpenAI 案的最大未解之謎，就集中在了「Ilya 究竟看到了什麼」上。他看到的東西，讓 OpenAI 大震盪，所有模型推出計劃被削弱和延期。最近網上曝出的一份 53 頁 PDF，就透露了 Q* 的許多重大細節：125 萬億參數，去年 12 月已訓完。但馬斯克這麼一鬧，恐怕 Q* 面世的時間還要大大延遲。
本年度科技圈這場里程碑級大戰，還在持續白熱化！
剛剛，Sam Altman 罕見地發聲了，連發兩條推文。
在馬斯克鬧出起訴風波後，Altman 一直保持緘默。因此，這兩條推文應該是全公司經過了深思熟慮的結果——
颶風已經愈來愈猛烈，但風暴中心卻仍然保持着平靜。
這一切都發生過，這一切都還將再次發生。
在 Altman 看來，目前發生的一切不過是新瓶裝舊酒，不斷在重演的故事罷了。
但傳聞中的 Q* 和 AGI，已經讓全世界談之色變。
本案最大未解之謎：Ilya 究竟看到了什麼
在用 ChatGPT 和 Sora 在全世界掀起颶風之後，OpenAI 真的能如 Altman 所説，在風暴中心保持平靜嗎？
恐怕潘多拉的魔盒已經打開，在我們看不到的角落裏，蝴蝶效應已經產生。
馬斯克起訴 OpenAI 案最大的未解之謎就是——Ilya 究竟看到了什麼？
讓我們把時間線倒回，好好覆盤一下這樁起訴案發生之前，Altman 的一言一行，都埋下了哪些線索。
在 2023 年 11 月，就在 Altman 被董事會解僱的前一天，他在 APEC 會議上曾有一次令人不寒而慄的發言，暗示了 OpenAI 已經開發出了比 GPT-4 更強大、更難以想象的東西，遠超人們的期待。
模型的能力將會有一個無人預料到的飛躍。與人們的預期不同，這個飛躍是驚人的！
現在正在發生的技術變革，將徹底改變我們生活方式、經濟和社會結構以及其他可能性限制……這在 OpenAI 的歷史上有四次 ，而最近一次，就是在過去幾周內。
在撥開無知的面紗和探索未知的邊界時，我有幸在場， 這是我職業生涯中的榮幸。
在給出這篇演講時，我們還對 Q* 一無所知。
緊接着第二天，OpenAI 的宮鬥風波震驚全世界，Altman 被趕下台，而 Ilya「看到了一些東西」。
那幾天裏，「Ilya 究竟看到了什麼」引起了全網的猜測和恐慌
宮鬥風波第四天時，OpenAI 秘密的 AI 模型突破 Q* 被泄露。據説 OpenAI 的兩位研究員 Jakub Pachocki 和 Symon Sidor，利用 Ilya 的工作成果做出了 Q*。
同時大家發現，在 Altman 被解僱之下，OpenAI 的研究人員曾給董事會發出一封信，警告一項「可能威脅人類」的全新 AI 發現。
這封此前從未報道過的信，也是董事會最終罷免 Altman 的導火索之一
Ilya 看到的，就是這項發現嗎？或者説，Ilya 看到的，就是 Q* 嗎？
而到了 2024 年 2 月，馬斯克正式起訴 OpenAI，這記迴旋鏢正中眉心。
馬斯克認為，GPT-4 是一個 AGI 算法，所以 OpenAI 已經實現了 AGI，因此這超出了和微軟協議的範圍，這項協議僅適用於 AGI 出現之前的技術。
「基於所掌握的信息和相信為真的內容，OpenAI 目前正在開發一種名為 Q* 的模型，該模型對 AGI 具有更強的主張」
起訴書中還説，看起來 Q* 很有可能會被 OpenAI 開發成一個 AGI，更清晰、更引人注目。
Q* 真的值得馬斯克如此大費周章、如臨大敵嗎？
根據目前泄露出來的信息，Q* 的能力，是能夠解決小學階段的數學問題。
雖然在大多數人看來，這並不是什麼令人印象深刻的事，但這的確是朝向 AGI 邁出的一大步，堪稱重要的技術里程碑。
因為 Q* 解決的，是以前從未見過的數學題。
Ilya 做出的突破，使 OpenAI 不再受限於獲取足夠的高質量數據來訓練新模型，而這，正是開發下一代模型的主要障礙。
那幾周內，Q* 的演示一直在 OpenAI 內部流傳，所有人都很震驚。
據悉，OpenAI 的一些人認為 Q* 可能是 OpenAI 在 AGI 上取得的一個突破。AGI 的定義是：「在最具經濟價值的任務中，超越人類的自主系統」
所以 Q* 會威脅人類嗎？
現在，公眾仍然不清楚細節，馬斯克似乎認為答案是肯定的，而「看到了什麼」的 Ilya，至今去向不明。
Ilya 的社交媒體，至今還停留在這一條 23 年 12 月 15 日的推特，從此再無動態
網友：Ilya 看到的東西，就是奧本海默時刻
現在，已經有人把「Ilya 看到那個東西」的時刻，歸結為奧本海默時刻，並且，那個東西的危險和強大程度比原子彈還要高出數百萬倍。
Ilya 看到的這個東西改變了遊戲規則，級別在 AGI 和 ASI 之間，因為他太害怕了，所以踢出了 Altman
網友們猜測，馬斯克現在下這一盤大棋，就是為了搞清 Ilya 究竟看到了什麼，來感受一把真正的 AGI。
Ilya 看到了什麼可怕的東西？
網友們一致認為，或許普通人看到的只是 AI 系統而已，但 Ilya 看到的，是 AI 的突破性發現。
很多人相信，就是 Ilya 看到的就是 Q*，隨後有了一些新發現。
因為 Ilya 不是個關心政治的人，他肯定是看到了相當危險的東西，把董事會都給嚇到了。
或許他看到的只是 Sora 生成的視頻？但直覺告訴我們應該不只如此。
但是從此，OpenAI 發生了一場大震盪，削弱了 GPT，削弱了未來推出的模型。
地下室裏究竟有什麼？！
Altman 急澄清：AI 是工具，不是新物種！
面對外界的這番恐慌情緒，Altman 在最近接受《The Advocate》雜誌採訪時急忙解釋道：很多人都對 AI 誤解了，他們甚至分不清 AI 到底是一種「生物」還是「工具」。
在他看來，將 AI 視為科幻電影中的生物角色確實更吸引人。但如果真的用了 ChatGPT，就會明白它只是一個工具而已。
AI 目前更多是一套基於數據和數學的系統，能夠產生統計上可能的結果，而不是「生物」這種全新的生命形態。
在目前全社會對 OpenAI 的擔憂情緒下，這種描述的確很應景。
不過，Altman 以前可不是這麼説的。
他曾預測道，AI 很快就能替代中等水平的人類勞動者，導致大規模失業。能夠自主行動的 AI 智能體，下一步可能就是替代人類。
2027 年構建 AGI 計劃推遲
同時，網上一份最新長達 53 頁的 PDF，曝光了 OpenAI 預計在 2027 年前打造出人類級別 AGI 的計劃，或許能夠部分解答「地下室裏有什麼」的問題。
目前還不知這個透露可靠度有多高，不過文檔作者 Jackson 賬號註冊於 2023 年 7 月，目前就只發布了 2 條推文，都是昨天發佈的。
而且，他主頁上的簽名是「jimmy apples 竊取了我的信息」。（jimmy apples 曾多次爆料關於 OpenAI 模型發佈信息）。
Jackson 表示，「自己將披露收集到的有關 OpenAI（已推遲）計劃在 2027 年之前創建人類級別 AGI 的信息」。
摘要中，具體介紹了 OpenAI 通往 AGI 的時間線：
OpenAI 於 2022 年 8 月便開始訓練一個 125 萬億參數的多模態模型。
第一階段是 Arrakis，也稱為 Q*。模型於 2023 年 12 月完成訓練，但由於推理成本過高而取消發佈。這就是原本計劃在 2025 年發佈的 GPT-5。Gobi（GPT-4.5）已更名為 GPT-5，因為原 GPT-5 已被取消。
Q* 的下一階段原為 GPT-6，後更名為 GPT-7（原計劃於 2026 年發佈），但由於最近馬斯克的訴訟而被擱置。
Q* 2025（GPT-8）原計劃於 2027 年發佈，旨在實現完全的 AGI。
Q* 2023 = IQ 達到 48
Q* 2024 = IQ 達到 96（延遲）
Q* 2025 = IQ 達到 145（延遲）。
參數計數
「深度學習」這一概念基本上可以追溯到 20 世紀 50 年代 AI 研究的初期。
第一個神經網絡誕生於上世紀 50 年代，而現代神經網絡只是「更深」而已。
這意味着它們包含更多的層——它們要大得多，也要在更多的數據上進行訓練。
當今 AI 領域大多數主要技術都源 20 世紀 50 年代的基礎研究，並結合了一些工程解決方案，如「反向傳播算法」和「Transformer 模型」。
總的來説，AI 研究 70 年來沒有發生根本性變化。因此，近來 AI 能力爆發的真正原因只有兩個：規模和數據。
越來越多的人開始相信，幾十年來我們早已解決了 AGI 的技術細節，只是在 21 世紀之前沒有足夠的算力和數據來構建 AGI。
顯然，21 世紀的計算機，要比上個世紀 50 年代的計算機強大得多。當然，互聯網數據來源也更加豐富。
那麼，什麼是參數呢？
它類似於生物大腦中的突觸，是神經元之間的連接。生物大腦中有 1000 個連接。顯然，數字神經網絡在概念上類似於生物大腦。
那麼，人腦中有多少個突觸（或「參數」）呢？
最常引用的大腦突觸數量大約為 100 萬億個，這意味着每個神經元（人腦中約有 1000 億個神經元）大約有 1000 個連接。
如果大腦中每個神經元有 1000 個連接點，這意味着一隻貓大約有 2500 億個突觸，一隻狗有 5300 億個突觸。
一般來説，突觸數似乎預示着較高的智力，但也有少數例外：例如，從技術上講，大象的突觸數比人類高，但智力卻比人類低。
突觸數量越多，智力越低，最簡單的解釋就是高質量數據的數量越少。
從進化的角度來看，大腦是在數十億年的表觀遺傳數據的基礎上「訓練」出來的，人類的大腦是從比大象更高質量的社會化和交流數據中進化出來的，所以我們具備了卓越的推理能力。無論如何，突觸數量無疑是非常重要的。
同樣，自 2010 年以來，AI 能力的爆炸式增長是，更強算力和更多數據的結果。
GPT-2 有 15 億個連接，還不如一個小鼠的大腦（約 100 億個突觸）。GPT-3 有 1750 億個連接，已經接近貓的大腦。
100 萬億參數，AI 即可達到人類水平
2020 年，1750 億參數的 GPT-3 發佈後，許多人對一個比它大 600 倍、參數為 100 萬億模型（這一參數與人類大腦的突觸數相匹配）的潛在性能進行猜測——
正如 Lanrian 所解釋的，推斷結果表明，AI 的性能似乎會莫名其妙地達到人類水平。
與此同時，人類水平的大腦大小也會與參數數量相匹配。
他計算的大腦突觸數量約是 200 萬億參數，而不是通常所説的 100 萬億參數——但這一觀點仍然成立，而且 100 萬億參數的性能非常接近最佳狀態。
那麼，如果 AI 的性能是可以根據參數數量預測的，而且～100 萬億參數足以達到人類水平，那麼什麼時候會發布 100 萬億參數的 AI 模型呢？
GPT-5 在 2023 年末實現了最初的 AGI，IQ 達到 48。
OpenAI 新策略：Chinchilla 縮放定律
100 萬億參數模型實際上性能不是最優的，不過 OpenAI 正在使用一種新的縮放範式來彌補這一差距——基於一種叫做 Chinchilla scaling laws（縮放定律）的方法。
Chinchilla 是 DeepMind 在 2022 年初發布的 AI 模型。
論文地址：https://arxiv.org/pdf/2203.15556.pdf
這篇論文中，暗示了目前的模型明顯訓練不足，如果計算量（意味着更多數據）大大增加，無需增加參數就能大幅提升性能。
重點是，雖然一個訓練不足的 100 萬億參數模型不是最優的，但如果用更多的數據對其進行訓練，其性能就能輕鬆超越人類水平。
在 ML 領域，Chinchilla 範式已被廣泛理解和接受。
但 OpenAI 總裁 Greg Brockman 在採訪中談到，OpenAI 是如何意識到自己最初的 scaling laws 存在缺陷，並在此後進行調整，將 Chinchilla 納入考慮範圍。
地址：https://youtu.be/Rp3A5q9L_bg?t=1323
研究員 Alberto Romero 曾撰文介紹了的 Chinchilla scaling 突破。
Chinchilla 表明，儘管它比 GPT-3 和 DeepMind 自家模型 Gopher 小得多，但由於在更多的數據上進行了訓練，它的性能超過了強大的模型。
儘管預測 100 萬億參數模型的性能不是最優，但 OpenAI 非常瞭解 Chinchilla scaling laws。
他們正在將 Q* 訓練成一個 100 萬億參數的多模態模型，這個模型的計算能力是最優的，而且訓練的數據量遠遠超過了初衷。
Q*：125 萬億參數巨獸？
最後，作者透露了一個令人難以置信的信息來源——來自著名的計算機科學家 Scott Aaronson。
2022 年夏天，他加入 OpenAI 後，從事了為期一年的 AI 安全方面的工作。他曾在博客上發表了一些非常有趣的言論。
這篇在 2022 年 12 月底的文章——「一封寫給 11 歲自己的信」，討論了一些實事和 Scott 在生活中取得的成就。
下半部分才是最可怕的部分...
有一家公司正在開發一種人工智能，它填滿了巨大的房間，耗費了整個城鎮的電力，最近還獲得了令人震驚的能力——能像人一樣交談。
它可以就任何主題寫論文、詩歌。它可以輕鬆通過大學水平的考試。它每天都在獲得新的能力，但負責 AI 的工程師們還不能公開談論。
不過，這些工程師會坐在公司食堂裏，討論他們正在創造的東西的意義。
下週它會學會做什麼？它可能會淘汰哪些工作？他們是否應該放慢速度或停下來，以免「怪獸」失控？
但是，這並非意味着其他人，可能是更沒有顧忌的人，不會最先喚醒「巨獸」嗎？是否有義務告訴世人更多關於這件事的信息？還是有義務少説一點？
我——現在的你——正在那家公司工作一年。我的工作是開發一個數學理論，以防止人工智能及其後繼者走向極端。其中「走向極端」可能意味着從加速宣傳和學術作弊，到提供生物恐怖主義建議，再到摧毀世界。
這裏，Scott 指的就是多模態大模型 Q*，一個 125 萬億參數的巨獸。
爆火「Q* 假説」牽出世界模型，全網 AI 大佬熱議
去年 11 月，Q* 項目就曾引發這個 AI 社區熱議。
疑似接近 AGI，因為巨大計算資源能解決某些數學問題，讓 Sam Altman 出局董事會的導火索，有毀滅人類風險……這些元素單拎出哪一個來，都足夠炸裂。
所以，Q* 究竟是啥呢？
這要從一項 1992 年的技術 Q-learning 説起。
簡單來説，Q-learning 是一種無模型的強化學習算法，旨在學習特定狀態下某個動作的價值。其最終目標是找到最佳策略，即在每個狀態下采取最佳動作，以最大化隨時間累積的獎勵。
斯坦福博士 Silas Alberti 由此猜測，Q* 很可能是基於 AlphaGo 式蒙特卡羅樹搜索 token 軌跡。下一個合乎邏輯的步驟是以更有原則的方式搜索 token 樹。這在編碼和數學等環境中尤為合理。
隨後，更多人猜測，Q* 指的就是 A* 算法和 Q 學習的結合！
甚至有人發現，Q-Learning 竟然和 ChatGPT 成功秘訣之一的 RLHF，有着千絲萬縷的聯繫！
隨着幾位 AI 大佬的下場，大家的觀點，愈發不謀而合了。
AI2 研究科學家 Nathan 激動地寫出一篇長文，猜測 Q 假説應該是關於思想樹 + 過程獎勵模型。並且認為 Q* 假説很可能和世界模型有關！
文章地址：https://www.interconnects.ai/p/q-star
他猜測，如果 Q*（Q-Star）是真的，那麼它顯然是 RL 文獻中的兩個核心主題的合成：Q 值和 A*（一種經典的圖搜索算法）。
A* 算法的一個例子
英偉達高級科學家 Jim Fan 也認為，Q* 令人讚歎，可以和 AlphaGo 類比。
在我投身人工智能領域的十年中，我從來見過有這麼多人對一個算法有如此多的想象！即使它只有一個名字，沒有任何論文、數據或產品。
其實，多年來 Ilya 一直在研究如何讓 GPT-4 解決涉及推理的任務，比如數學或科學問題。
此前，Ilya 在這個方向就有多年積累。21 年，他啓動了 GPT-Zero 項目，這是對 DeepMind AlphaZero 的致敬。
GPT-Zero 可以下國際象棋、圍棋和將棋。而團隊假設，只要給大模型更多的時間和算力，假以時日，它們一定能達到新的學術突破。
而且在半年之前，就有硅谷大佬扒出，OpenAI 很有可能會將「實時檢索」和模型能力結合起來，創造出難以想象的 AI 能力。
圖靈三巨頭 LeCun 則認為，Q* 則很可能是 OpenAI 在規劃領域的嘗試，即利用規劃策略取代自迴歸 token 預測。
隨後，更是有驚人消息曝出：Q* 竟然能破解加密，AI 自己在偷偷編程。而 OpenAI 曾試圖就此向 NSA 提出預警。
如果這個消息是真的，那我們無疑已經無限接近 AGI。
本文作者：新智元，本文來源：新智元，原文標題：《馬斯克怒告 OpenAI 案解密：Ilya 看到了什麼？125 萬億參數 Q* 細節曝光，53 頁 PDF 全網瘋轉》
