<p>有這樣一批<strong>智能體</strong>，在<strong>完全沒有見過</strong>的遊戲任務裏，也學會了遊刃有餘地解決目標。</p>
<p>譬如面對下面這樣一個高地，它們要取到上面的紫色金字塔。</p>
<div><img src="https://imageproxy.pbkrs.com/https://p3.toutiaoimg.com/img/pgc-image/4265e0192da44bc0982df868fff3dcac~tplv-tt-shrink:640:0.image?x-oss-process=image/auto-orient,1/interlace,1/resize,w_1440,h_1440/quality,q_95/format,jpg" width="438" height="454" original-src="https://imageproxy.pbkrs.com/https://p3.toutiaoimg.com/img/pgc-image/4265e0192da44bc0982df868fff3dcac~tplv-tt-shrink:640:0.image"/></div>
<p>沒有跳躍功能的它們，看似開始 “焦躁” 地亂扔起東西來，實則其中一塊板子<strong>正好被 “扔” 成了樓梯</strong>，這不就巧了，目標完成！</p>
<div><img src="https://imageproxy.pbkrs.com/https://p26.toutiaoimg.com/img/pgc-image/7aeb74dd16294e6dbadbb8758813d85b~tplv-tt-shrink:640:0.image?x-oss-process=image/auto-orient,1/interlace,1/resize,w_1440,h_1440/quality,q_95/format,jpg" width="600" height="336" original-src="https://imageproxy.pbkrs.com/https://p26.toutiaoimg.com/img/pgc-image/7aeb74dd16294e6dbadbb8758813d85b~tplv-tt-shrink:640:0.image"/></div>
<p>你可能會説這只是 “瞎貓撞死耗子” 罷了，但多次實驗發現，該智能體可以<strong>復現</strong>該方法的！</p>
<div><img src="https://imageproxy.pbkrs.com/https://p9.toutiaoimg.com/img/pgc-image/4eddaae9756a43e8a3fb59775c31891a~tplv-tt-shrink:640:0.image?x-oss-process=image/auto-orient,1/interlace,1/resize,w_1440,h_1440/quality,q_95/format,jpg" width="600" height="336" original-src="https://imageproxy.pbkrs.com/https://p9.toutiaoimg.com/img/pgc-image/4eddaae9756a43e8a3fb59775c31891a~tplv-tt-shrink:640:0.image"/></div>
<p>‍</p>
<p>而且它還會不止一種方法，“我不上去，你下來”——直接<strong>藉助板子把目標扒拉下來</strong>了！</p>
<div><img src="https://imageproxy.pbkrs.com/https://p9.toutiaoimg.com/img/pgc-image/9e05de46601846c9b77b6f97b948996a~tplv-tt-shrink:640:0.image?x-oss-process=image/auto-orient,1/interlace,1/resize,w_1440,h_1440/quality,q_95/format,jpg" width="600" height="336" original-src="https://imageproxy.pbkrs.com/https://p9.toutiaoimg.com/img/pgc-image/9e05de46601846c9b77b6f97b948996a~tplv-tt-shrink:640:0.image"/></div>
<p>這也行？</p>
<div><img src="https://imageproxy.pbkrs.com/https://p5.toutiaoimg.com/img/pgc-image/3121069f343c4fa3aea9b4f6cde947a7~tplv-tt-shrink:640:0.image?x-oss-process=image/auto-orient,1/interlace,1/resize,w_1440,h_1440/quality,q_95/format,jpg" width="500" height="506" original-src="https://imageproxy.pbkrs.com/https://p5.toutiaoimg.com/img/pgc-image/3121069f343c4fa3aea9b4f6cde947a7~tplv-tt-shrink:640:0.image"/></div>
<p>而這些<strong>成精了</strong>的智能體來自<strong>DeepMind</strong>。</p>
<p>現在，為了讓 AI 更加多才多藝、舉一反三，他們專門給智能體打造了一個包含了<strong>數十億遊戲任務的 “元宇宙”</strong>XLand：讓智能體在不斷擴展、升級的開放世界中通過上億次的訓練練就了不俗的<strong>泛化能力</strong>。</p>
<div><img src="https://imageproxy.pbkrs.com/https://p5.toutiaoimg.com/img/pgc-image/207b96e6ec07423f9460257ffe648ac8~tplv-tt-shrink:640:0.image?x-oss-process=image/auto-orient,1/interlace,1/resize,w_1440,h_1440/quality,q_95/format,jpg" width="640" height="663" original-src="https://imageproxy.pbkrs.com/https://p5.toutiaoimg.com/img/pgc-image/207b96e6ec07423f9460257ffe648ac8~tplv-tt-shrink:640:0.image"/></div>
<p>最終效果就像前面看到的，<strong>無需在新遊戲中從頭訓練</strong>，它們就能<strong>自主</strong>解決任務！</p>
<p>DeepMind 也因此發表了一篇論文，就叫做：《從開放學習走出來的通用智能體》。</p>
<div><img src="https://imageproxy.pbkrs.com/https://p9.toutiaoimg.com/img/pgc-image/3b5a0513cb7c4cc08d18467464853295~tplv-tt-shrink:640:0.image?x-oss-process=image/auto-orient,1/interlace,1/resize,w_1440,h_1440/quality,q_95/format,jpg" width="640" height="225" original-src="https://imageproxy.pbkrs.com/https://p9.toutiaoimg.com/img/pgc-image/3b5a0513cb7c4cc08d18467464853295~tplv-tt-shrink:640:0.image"/></div>
<p>如何做到的呢？</p>
<h1>“元宇宙” XLand</h1>
<p>最功不可沒之一的就是這個龐大的 “元宇宙” 模擬空間。</p>
<p>這是一個<strong>“遊戲星系”</strong>，裏面有無數個 “遊戲星球”，每個星球上的遊戲按<strong>競爭性、平衡性、可選項、探索難度</strong>四個緯度進行區分。</p>
<div><img src="https://imageproxy.pbkrs.com/https://p6.toutiaoimg.com/img/pgc-image/d19b194cb11b45008400bed3e2903dcd~tplv-tt-shrink:640:0.image?x-oss-process=image/auto-orient,1/interlace,1/resize,w_1440,h_1440/quality,q_95/format,jpg" width="640" height="394" original-src="https://imageproxy.pbkrs.com/https://p6.toutiaoimg.com/img/pgc-image/d19b194cb11b45008400bed3e2903dcd~tplv-tt-shrink:640:0.image"/></div>
<p>比如圖左上介紹的<strong>“搶方塊”</strong>遊戲：藍色智能體需要把黃色的立方體放到白色區域，紅色智能體需要把<strong>同一個立方體</strong>放在藍色區域。</p>
<div><img src="https://imageproxy.pbkrs.com/https://p26.toutiaoimg.com/img/pgc-image/1effe7c3668940e2b22c415af64256f0~tplv-tt-shrink:640:0.image?x-oss-process=image/auto-orient,1/interlace,1/resize,w_1440,h_1440/quality,q_95/format,jpg" width="640" height="651" original-src="https://imageproxy.pbkrs.com/https://p26.toutiaoimg.com/img/pgc-image/1effe7c3668940e2b22c415af64256f0~tplv-tt-shrink:640:0.image"/></div>
<p>啊想想就頭大，所以這個遊戲的<strong>競爭性值都拉滿了</strong>，而由於雙方的條件/目標都一樣，所以<strong>平衡性值也很高</strong>，因為需要定位目標區域，所以<strong>探索難度並不小</strong>。</p>
<p>再比如圖右上的<strong>“將球體和立方體配對”</strong>：藍色/紅色智能體要將幾何體按顏色歸類到一起，完成任意一組配對就行。這個遊戲的可選性值就拉滿了，但競爭性就沒那麼強。</p>
<div><img src="https://imageproxy.pbkrs.com/https://p6.toutiaoimg.com/img/pgc-image/0a8749cc929845b499ff1a28e5b21e9b~tplv-tt-shrink:640:0.image?x-oss-process=image/auto-orient,1/interlace,1/resize,w_1440,h_1440/quality,q_95/format,jpg" width="640" height="664" original-src="https://imageproxy.pbkrs.com/https://p6.toutiaoimg.com/img/pgc-image/0a8749cc929845b499ff1a28e5b21e9b~tplv-tt-shrink:640:0.image"/></div>
<p>ps.藍色遊戲代表是完全競爭性的，粉色為完全合作性的。</p>
<p>不管是哪種遊戲任務，這批智能體都從最簡單的開始（比如僅 “靠近紫色立方體” 這種），一步步解鎖複雜度升級的遊戲（比如和另一個智能體 “捉迷藏”），其中每一項遊戲都有獎勵，智能體們的目標就是將拿到的獎勵最大化。</p>
<p>而智能體 “玩家” 們是通過閲讀收到的目標的文字描述、觀察 RGB 圖像來感知周圍環境來完成任務。</p>
<h1>生成的新任務要基於舊任務，且難度要剛剛好</h1>
<p>除了上面這個開放式的學習環境，訓練方法也很重要。</p>
<p>研究人員使用的神經網絡訓練架構提供了一種針對智能體內部循環狀態的<strong>注意力機制</strong>——通過估計所玩遊戲的子目標，來持續引導智能體的注意力。</p>
<div><img src="https://imageproxy.pbkrs.com/https://p3.toutiaoimg.com/img/pgc-image/be8adbddeb8a4914a83418481e0d81c4~tplv-tt-shrink:640:0.image?x-oss-process=image/auto-orient,1/interlace,1/resize,w_1440,h_1440/quality,q_95/format,jpg" width="640" height="380" original-src="https://imageproxy.pbkrs.com/https://p3.toutiaoimg.com/img/pgc-image/be8adbddeb8a4914a83418481e0d81c4~tplv-tt-shrink:640:0.image"/></div>
<p>這種策略讓智能體學習到更具普遍能力的策略。</p>
<p>還有一個問題：如此廣闊的遊戲環境，什麼樣的<strong>遊戲任務分佈</strong>能產出最善於泛化的智能體呢？</p>
<p>研究人員通過持續調整每個智能體的遊戲分佈發現，每個新任務都要<strong>基於通關的舊任務生成，不能太難，也不能太容易。</strong></p>
<p>這個也基本符合一般認知。</p>
<p>它們先經歷了四次迭代：</p>
<p>每個任務由多個智能體參與競爭，在舊任務上適應得好的智能體，會帶着權重、瞬時任務分佈、超參數等參與到新一輪任務中繼續學習。此時也會加入新的智能體讓競爭 “活” 起來。</p>
<div><img src="https://imageproxy.pbkrs.com/https://p6.toutiaoimg.com/img/pgc-image/742f2ce00b6340f688f91e0834eb6b52~tplv-tt-shrink:640:0.image?x-oss-process=image/auto-orient,1/interlace,1/resize,w_1440,h_1440/quality,q_95/format,jpg" width="640" height="209" original-src="https://imageproxy.pbkrs.com/https://p6.toutiaoimg.com/img/pgc-image/742f2ce00b6340f688f91e0834eb6b52~tplv-tt-shrink:640:0.image"/></div>
<h1>智能體表現出明顯的零樣本學習能力</h1>
<p>最後生成的第五代智能體，在 XLand 4000 多個 “星球” 裏玩了大約<strong>70 萬個</strong>遊戲，每一個智能體都經歷了<strong>2000 億次</strong>訓練，完成了 340 萬個獨特任務。</p>
<p>到了這個時候，這些智能體已經能夠順利完成每一項評估任務（除了少數即使是人類也不可能完成的）。</p>
<p>整個實驗也最終表明，通過開發像 XLand 這樣的環境和這樣開放式的練方法，一些基於 RL 的智能體已表現出明顯的<strong>零樣本學習能力</strong> （0-shot）。</p>
<p>比如使用工具、打攔（ridge-fencing）、“捉迷藏”、找立方體、數數、合作或競爭等。</p>
<div><img src="https://imageproxy.pbkrs.com/https://p26.toutiaoimg.com/img/pgc-image/c3e4d44d73e14be9b35905e0e45c1262~tplv-tt-shrink:640:0.image?x-oss-process=image/auto-orient,1/interlace,1/resize,w_1440,h_1440/quality,q_95/format,jpg" width="640" height="201" original-src="https://imageproxy.pbkrs.com/https://p26.toutiaoimg.com/img/pgc-image/c3e4d44d73e14be9b35905e0e45c1262~tplv-tt-shrink:640:0.image"/></div>
<p>研究人員也觀察到智能體們面對新任務時不知道 “什麼是最好的解決辦法”，但它們會不斷地試驗直到達到目標。</p>
<p>這個過程中出現的有趣的” 緊急啓發式行為”，除了開頭提到的搭梯子，還有這個<strong>臨時更換更簡易目標</strong>的例子——</p>
<p>在一個遊戲中該智能體需要從 3 個目標中任選一個完成：</p>
<p>1、將黑色金字塔放到黃色球體旁邊；<br/>2、將紫色球體放到黃色金字塔旁邊；<br/>3、將黑色金字塔放到橙色區域。</p>
<p>它一開始找到了一個黑色金字塔，想去完成目標 3，但在搬運過程中看到了黃色球體，於是它就在<strong>1 秒內改變了主意</strong>，選擇直接將金字塔放在黃色球體旁邊完成目標 1。（整個過程一共耗時 6 秒）</p>
<div><img src="https://imageproxy.pbkrs.com/https://p26.toutiaoimg.com/img/pgc-image/5cb699f7fbb343af9e3c912a2c26010b~tplv-tt-shrink:640:0.image?x-oss-process=image/auto-orient,1/interlace,1/resize,w_1440,h_1440/quality,q_95/format,jpg" width="640" height="148" original-src="https://imageproxy.pbkrs.com/https://p26.toutiaoimg.com/img/pgc-image/5cb699f7fbb343af9e3c912a2c26010b~tplv-tt-shrink:640:0.image"/></div>
<p>最後，看完了 DeepMind 的研究，再拋給大家一個問題：我們離真正的通用人工智能還有多遠？</p>
<div></div>
<p>（ps.你發現了嗎，文章最開頭高台取金字塔任務中的小紅智障體就不行，一直打轉，面對小藍搭好的梯子甚至直接毀掉）</p>
<div></div>
<p>論文地址：<br/>https://arxiv.org/abs/2107.12808</p>
<p>參考鏈接：</p>
<p>https://deepmind.com/blog/article/generally-capable-agents-emerge-from-open-ended-play</p>

<p>在一個包含數十億遊戲任務的 “元宇宙” 中 “修煉” 的成果</p>

2000 億次開放學習後，DeepMind 智能體成精了