【聚看點(diǎn)】用嘴做視頻真來(lái)了，Meta 這個(gè)新應(yīng)用太逆天了

今年，是 AI 在圖像視頻制作領(lǐng)域進(jìn)步很大的一年。

(資料圖)

有人拿著 AI 生成的圖像拿走了數(shù)字藝術(shù)大獎(jiǎng)，戰(zhàn)勝了一眾人類藝術(shù)家；有 Tiktok 這樣的應(yīng)用通過(guò)文字輸入生成圖片，變?yōu)槎桃曨l的綠幕背景；還有新的產(chǎn)品可以做到文字直接生成視頻，直接實(shí)現(xiàn)「用嘴做視頻」的效果。

這次的產(chǎn)品來(lái)自深耕人工智能多年，前段時(shí)間才因?yàn)樵钪姹化偪癯爸S的 Meta。

Meta 元宇宙曾被瘋狂嘲諷

只是這次，你不能嘲諷它了，因?yàn)樗娴挠辛诵⊥黄啤?/p>

文字轉(zhuǎn)視頻，能做成什么樣

現(xiàn)在，你可以動(dòng)嘴做視頻了。

這話雖然有點(diǎn)夸張，但 Meta 這次推出的 Make-A-Video 恐怕真是朝著這個(gè)目標(biāo)前進(jìn)的。

目前 Make-A-Video 可以做到的是：

文字直接生成視頻——將你的想象力變成真實(shí)的、獨(dú)一無(wú)二的視頻

圖片直接轉(zhuǎn)為視頻——讓單一圖片或兩張圖片自然地動(dòng)起來(lái)

視頻生成延伸視頻——輸入一個(gè)視頻創(chuàng)建視頻變體

單說(shuō)文字直接生成視頻這個(gè)方面，Make-A-Video 就戰(zhàn)勝了不少專業(yè)的動(dòng)畫設(shè)計(jì)專業(yè)的學(xué)生。至少它什么風(fēng)格都能做，而且制作成本非常低。

雖然官網(wǎng)還不能讓你直接生成視頻體驗(yàn)，但你可以先提交個(gè)人資料，之后 Make-A-Video 有任何動(dòng)向都會(huì)先和你分享。

目前可以看到的案例不多，官網(wǎng)展示的案例在細(xì)節(jié)上還有一些怪異的地方。但不管怎么說(shuō)，文字可以直接變視頻，本身就是一個(gè)進(jìn)步了。

一只泰迪熊在畫自畫像，你可以看到小熊的手在紙面陰影部分的投影不太自然。

機(jī)器人在時(shí)代廣場(chǎng)跳舞。

貓拿著電視遙控器換臺(tái)，貓咪手部爪子和人手極為相似，某些時(shí)候看還覺(jué)得有點(diǎn)驚悚。

還有戴著橙色針織帽的毛茸茸樹懶在擺弄一臺(tái)筆記本電腦，電腦屏幕的光映在它的眼睛里。

上面這些屬于超現(xiàn)實(shí)風(fēng)格，和現(xiàn)實(shí)更相似的案例則更容易穿幫。

Make-A-Video 展示的案例如果只是專注局部表現(xiàn)都不錯(cuò)，例如藝術(shù)家在畫布上畫畫的特寫，馬喝水，在珊瑚礁游泳的小魚。

但是稍微寫實(shí)一點(diǎn)的年輕夫婦在大雨中行走就很怪異，上半身還好，下半身的腳忽隱忽現(xiàn)，有時(shí)還會(huì)被拉長(zhǎng)，如同鬼片。

還有一些繪畫風(fēng)格的視頻，宇宙飛船登陸火星，穿著晚禮服的夫婦被困在傾盆大雨中，陽(yáng)光灑在桌上，會(huì)動(dòng)的熊貓玩偶。從細(xì)節(jié)上看，這些視頻都不夠完美，但僅僅從 AI 文字轉(zhuǎn)視頻的創(chuàng)新效果來(lái)看，還是讓人驚嘆的。

靜態(tài)的油畫也可以在 Make-A-Video 幫助下動(dòng)起來(lái)——船在大浪中前進(jìn)。

海龜在海中游動(dòng)，最初的畫面非常自然，后面變得更像綠幕摳圖，不自然。

瑜伽訓(xùn)練者在朝陽(yáng)中舒展身體，瑜伽墊也會(huì)隨著視頻的變化一起變化——這個(gè) AI 就戰(zhàn)勝不了學(xué)習(xí)影視制作的學(xué)生了，控制變量沒(méi)做好。

最后輸入一個(gè)視頻模仿其風(fēng)格創(chuàng)造視頻變體也有 3 種案例。

其中一個(gè)變化相對(duì)來(lái)說(shuō)沒(méi)那么精致。宇航員在太空中飄舞的視頻變?yōu)榱嗣栏猩匀醢姹镜?4 個(gè)粗放版視頻。

小熊跳舞的視頻倒是有不少令人驚喜的變化，至少舞姿有變化了。

至于最后兔子吃草的視頻就是最「安能辨我是雌雄」的類型了，5 個(gè)視頻最后很難認(rèn)出誰(shuí)是初始視頻，看著都蠻和諧。

文字轉(zhuǎn)圖片剛有進(jìn)展，視頻就來(lái)了

在《阿法狗之后，它再次徹底顛覆人類認(rèn)知》中，我們?cè)?jīng)介紹過(guò)圖像生成應(yīng)用 DALL·E。曾有人用它制作出的圖像去和人類藝術(shù)家 PK并最終取勝。

現(xiàn)在我們看到的 Make-A-Video 可以說(shuō)是一個(gè)視頻版本的 DALL·E（初級(jí)版）——它就像 18 個(gè)月前的 DALL·E，有巨大突破，但現(xiàn)在的效果不一定能讓人滿意。

DALL·E 創(chuàng)作的延伸畫作

甚至可以說(shuō)，它就是站在巨人 DALL·E 肩膀上做出成就的產(chǎn)品。相較于文字生成圖片，Make-A-Video 并沒(méi)有在后端進(jìn)行太多全新變革。

研究人員在論文中也表示：「我們看到描述文本生成圖片的模型在生成短視頻方面也驚人地有效?！?/p>

描述文本生成圖片的獲獎(jiǎng)作品

目前 Make-A-Video 制作的視頻有 3 個(gè)優(yōu)點(diǎn)：

1.

加速了 T2V 模型（文字轉(zhuǎn)視頻）的訓(xùn)練

2.

不需要成對(duì)的文本轉(zhuǎn)視頻數(shù)據(jù)

3.

轉(zhuǎn)化的視頻繼承了原有圖像/視頻的風(fēng)格

這些圖像當(dāng)然有缺點(diǎn)，前面提到的不自然都是真實(shí)存在的。而且它們不像這個(gè)年代誕生的視頻，畫質(zhì)模糊，動(dòng)作僵硬，不支持聲音匹配，一段視頻長(zhǎng)度不超過(guò) 5 秒，解析度 64 x 64px 都是硬傷，它們的清晰度遠(yuǎn)遠(yuǎn)不夠。

這個(gè)視頻狗狗舌頭和手有幾幀非常怪異

幾個(gè)月前清華大學(xué)和智源研究院（BAAI）研究團(tuán)隊(duì)發(fā)布的第一個(gè)能根據(jù)文本直接合成視頻的 CogVideo 模型也有這樣的問(wèn)題。它基于大規(guī)模預(yù)訓(xùn)練的 Transformer 架構(gòu)，提出了一種多幀率分層訓(xùn)練策略，可以高效的對(duì)齊文本和視頻片段，只是也經(jīng)不起細(xì)看。

但誰(shuí)能說(shuō) 18 個(gè)月后，Make-A-Video 和 CogVideo 制作的視頻不會(huì)比大部分人更好呢？

CogVideo 生成的視頻——這個(gè)目前僅支持中文生成

目前已經(jīng)發(fā)布的文字轉(zhuǎn)視頻工具雖然不多，但在路上的卻有不少。在 Make-A-Video 發(fā)布后，初創(chuàng)企業(yè) StabilityAI 的開發(fā)者就公開表示：「我們的（文字轉(zhuǎn)視頻應(yīng)用）會(huì)更快更好，適用于更多人?！?/p>

有競(jìng)爭(zhēng)才會(huì)更好，越來(lái)越逼真的文字轉(zhuǎn)圖像功能就是最好的證明。

關(guān)鍵詞： 生成圖片 我們看到