原文標題：《一句話就能魔改視頻主角，谷歌新「AI 導演」驚呆網友：這畫質也太贊了》

谷歌整出了個新“AI 導演”，一句話甚至能把視頻主角給換了。

你看，青青草地上，一只小熊正在跳舞。

難道現在的熊都這么有藝術細胞了嘛？？

No，No，No！草地上原有的其實是只猴子。

要從猴變熊，只用跟這個 AI 說一句：

一只小熊隨著音樂節拍跳著舞，扭動他的整個身子。（A bear dancing and jumping to upbeat music, moving his whole body）

除了會“魔改”視頻，這個名為 Dreamix 的 AI 還能把靜態圖片變成動畫 —— 也是一句話就搞定。

比如給此 AI 看一張“海龜游泳照”，再告訴它：

水下拍到一只海龜在游泳，后面有只鯊魚正在靠近。（Underwater shot of a sea turle with a shark apporching from behind）

好家伙，一句話不僅讓海龜游起來了，還憑空加了條鯊魚。

這效果，讓不少圍觀網友都紛紛點贊。

有人甚至斷言，AIGC 將在接下的兩年時間繼續掀起熱潮，甚至比千禧年間的發展更加瘋狂。

導演視頻，只用一句話

一經公開就能受到盛贊，這個 AI 究竟如何？不妨再看看其更多的“導演”作品來感受一下。

首先，在更換視頻角色方面，這是原本的田野：

這是 AI 放火燒掉的田野：

這是人的手在寫字：

這是 AI 生成的機器人手在寫字：

同樣以人寫字的視頻為原型，如果把提示句子換成“人的手在畫圓”，還會有不同的生成效果：

而在靜態圖變動畫方面，原圖是霧蒙蒙的叢林：

而 AI 給這片林子加了一只奔跑的獨角獸，而且鏡頭還按句子提示給拉遠了。

還有這樣一張河谷風景圖：

AI 不僅讓溪水流動起來，還給岸邊加上了來洗澡水牛，給天空加上了飛翔的小鳥。

看到這里，有人可能會覺得欠點火候：動畫倒是做出來了，但畫質也犧牲了挺多啊。

那不妨多給 AI 看幾張圖。

比如一口氣給 AI 看 7 張玩具火警的照片：

然后再讓它根據一句話生成視頻，這下畫質就會清楚很多。

至于這個”AI 導演”是怎么做的，谷歌表示，關鍵在于“老朋友”擴散模型（Diffusion Model）。

擴散模型，也是火出圈的 AIGC 作畫神器 DALL·E 2 的核心。

谷歌研究人員指出，其實之前已有類似的“文字生成視頻”AI 了，但若僅僅在輸入視頻上對視頻擴散模型進行微調，會限制運動變化的程度。

而此 AI 與眾不同之處在于：

團隊使用了一個“混合目標”，除了對原始目標進行微調外，還會對無序幀集進行微調。

他們采用了一種深度學習中專門的注意力機制：Masked Temporal Attention，幫助模型專注于輸入信息的特定部分，忽略其他無關的部分。

—— 這提高了模型處理序列數據的能力，生成視頻中的動態更多樣化，且效果也比較自然。

在擴散模型和 Masked Temporal Attention 的加持下，對于更換視頻主角來說，輸入其實已經被省略了 —— 只需進行微調，結果的保真度也相當不錯。

參考鏈接：

• [1]https://dreamix-video-editing.github.io/

• [2]https://www.youtube.com/watch?v=QWUmk6GuqIQ

• [3]https://www.reddit.com/r/MachineLearning/comments/10tovhn/n_r_google_announces_dreamix_a_model_that/

本文來自微信公眾號：量子位 （ID：QbitAI），作者：Alex

總結

以上是生活随笔為你收集整理的一句话就能魔改视频主角，谷歌新「AI 导演」引网友热议的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。