視頻版 Midjourney 免費開放，一句話拍大片！網友：上一次這麼激動還是上次了
Runway 推出 AI 視頻編輯工具 Gen2，用户只需輸入一句話，就能生成高清視頻，目前已開放免費試用。
家人們，現在做個影視級視頻，也就是一句話的事了！
例如只需簡單輸入 “叢林（Jungle）”，大片鏡頭便可立刻呈現：
而且圍繞着 “叢林” 變換幾個搭配的詞語，比如 “河流”、“瀑布”、“黃昏”、“白天” 等，這個 AI 也能秒懂你的意思。
還有下面這些自然美景、宇宙奇觀、微觀細胞等高清視頻，統統只需一句話。
這就是 Stable Diffusion 和《瞬息全宇宙》背後技術公司 Runway，出品的 AI 視頻編輯工具 Gen2。
而且就在最近，一個好消息突然襲來——Gen2 可以免費試用了！
這可把網友們開心壞了，紛紛開始嚐鮮了起來。
體驗 Gen2 實錄
例如我們給 Gen2 投餵了一句中文：
一個航拍視角的視頻片段便立即被做了出來。
如果想讓視頻的風格變換一下，也可以上傳一張圖片，例如我們用的是一張賽博朋克風格的城市照片。
那麼 Gen2 就會把你輸出的提示詞和照片風格做一個 “合體”：
目前 Runway 官網可免費體驗 Gen2 的功能是文生視頻（Text to Video），但 Gen1 也開放了視頻生視頻（Video to Video）的功能。
例如一個國外小哥可能受《瞬息全宇宙》的啓發，憑藉 Gen1 也玩了一把更刺激的穿越。
他先是在家錄了一段打響指的視頻，然後 “啪的一下”，瞬間讓自己步入歐洲皇室貴族的 “片場”：
然後……就連物種、性別，都可以隨隨便便地切換：
最後，再經歷幾次不同時空、人種的穿越之後，小哥一個響指又回到了自己的家裏：
在看完 Gen2 生成的這波 “大秀” 之後，網友們不淡定了，直呼：
娛樂圈要被生成式 AI 重新定義了。
網頁端和移動端（僅限 iOS 系統）現在均可正式開始體驗。
以網頁端為例，進入 Runway 官方主頁（文末鏈接 [1]），點擊上方 “TRY NOW” 並註冊賬號，就可以進入下面的界面：
點擊右方的 “Introducing Gen2”，我們就可以正式開玩了。
首先，輸入提示詞，最多 320 個字符，然後在左邊的設置菜單裏進行一些基礎配置（包括種子參數、插值等），點擊 “Generate”。
（當然，你也可以為視頻提供一張參考圖像，點擊右邊的圖像圖標即可。）
不到 1 分鐘的功夫，視頻就出來了。
點擊下方播放按鈕即可查看效果，視頻可以直接保存到本地，也可以只保存在你的賬户中。
當然，如果你不滿意，還能在下方的提示詞框中繼續修改。
需要注意的是，免費試用的額度為 105 秒（右上角顯示剩餘額度），每個視頻為 4 秒，也就是大約可免費生成 26 個 Gen2 視頻。
額度用完或者你想體驗去水印、提升分辨率等額外功能，就需要買會員，標準版為 15 美元一個月，Pro 版 35 美元，年付更便宜一些。
如果你想要生成效果更好，可以多使用“in the style of xxx”的形式，比如：
A palm tree on a tropical beachin the style of professional cinematography, shallow depth of field, feature film.（如下圖）A palm tree on a tropical beachin the style of 2D animation, cartoon, hand drawn animation.
或者直接去它的靈感庫，選擇一個你喜歡的視頻然後點擊 “try it” 即可查看它的提示詞是怎麼寫的，然後在上面進行編輯或模仿就好了：
還有網友表示，使用“cinematic shot of”開頭，也能讓你的視頻更具動感（解決了很多人試出來的視頻不怎麼動的問題）。
什麼來頭？
Gen2 於今年 3 月 20 日正式發佈，經歷了兩個多月的內測，現在終於正式上線。
它的前代 Gen1 只比它早了一個多月（2 月發佈），所以説迭代速度相當快。
作為一個基於擴散的生成模型，Gen1 通過在預訓練圖像模型中引入時間層，並在圖像和視頻數據上進行聯合訓練，完成了潛擴散模型到視頻生成領域的擴展。
其中也包括使用一種全新的引導方法完成了對生成結果時間一致性的精確控制。
在訓練階段，先用固定編碼器將輸入視頻 x 編碼為 z0，並擴散為 zt。
然後對 MiDaS 獲得的深度圖進行編碼，提取出結構表示 s；再用 CLIP 對其中一個幀進行編碼來獲取內容表示 c。
接着，在 s 的幫助下，模型學習反轉潛空間中的擴散過程（其中 s 與 c 以及通過交叉注意塊生成的 c 相連）。
在推理階段，模型以相同的方式提供輸入視頻的結構 s。
為了通過文本生成內容，作者還通過一個 prior 將 CLIP 文本嵌入轉換為圖像嵌入。
最終，Gen1 可以生成細粒度可控的視頻，也能對一些參考圖像進行定製。
不過，一開始對公眾發佈的 Gen1 只能對已有視頻進行編輯，Gen2 才直接完成了文生視頻的 “蜕變”。
並且一口氣帶來了另外 7 大功能，包括文本 + 參考圖像生視頻、靜態圖片轉視頻、視頻風格遷移等等。
這樣的 Gen2，也在內測階段就被網友稱讚“視頻界的 Midjourney”。
而根據官方的調研數據，Gen2 確實更受用户歡迎：用户得分比 Stable Diffusion 1.5 要高 73.53%，比 Text2Live 則高上了 88.24%。
如今正式上線以後，果然迅速迎來一大波體驗羣眾，有人表示：
上一次體會到這麼激動的感覺，還是用 AI 生成圖像的時候。
那麼，不知道這波，參與開發了 SD 的 Runway，能否再帶着 Gen2 創造生成式 AI 領域的下一大熱趨勢——
如果答案是肯定的，還需要多久、還要解決哪些問題？
就且拭目以待。
參考鏈接：[1] https://runwayml.com/[2]] https://research.runwayml.com/gen2[3] https://twitter.com/SteveMills/status/1666799229996785666[4] https://twitter.com/runwayml/status/1666429706932043776[5] https://www.youtube.com/watch?v=dq8GZeDEqH8
本文來源：量子位，原文標題：《視頻版 Midjourney 免費開放，一句話拍大片！網友：上一次這麼激動還是上次了》
