摘要：風(fēng)格化生成Lumiere能生成各種指定藝術(shù)風(fēng)格的視頻。STUNet架構(gòu)帶來的全新突破這次，谷歌的研究者采用了跟以往不同的方法，引入了新的T2V擴(kuò)散框架，該框架可以立即生成視頻的完整持續(xù)時(shí)間。研究者應(yīng)用Lumiere圖像到視頻生成，以ImagenVideo生成的視頻的第一幀為條件，可視化相應(yīng)的X-T切片。...

與以往的視頻生成模型不同，Lumiere采用了最先進(jìn)的時(shí)空U-Net架構(gòu)，可以在一次一致的通道中生成整個(gè)視頻，而不是像以往的模型一樣對(duì)生成的簡短視頻進(jìn)行時(shí)間采樣。

這一新架構(gòu)可以顯著增加生成視頻的長度和質(zhì)量，讓視頻呈現(xiàn)出更高的連貫性和運(yùn)動(dòng)幅度。論文指出，Lumiere可以直接生成5秒長的80幀視頻，比以往大多數(shù)模型生成的視頻更為連貫。

此外，Lumiere還具有豐富的功能，比如視頻編輯/修復(fù)、圖像到視頻、風(fēng)格化生成、動(dòng)作筆刷，甚至可以直接從文本生成詳細(xì)的視頻。研究者表示，Lumiere不僅在定性評(píng)估中表現(xiàn)優(yōu)異，而且在用戶研究中也獲得了更多用戶的青睞。

這一突破性的AI視頻大模型標(biāo)志著谷歌在人工智能領(lǐng)域的又一次重大進(jìn)展，展現(xiàn)了其領(lǐng)先的技術(shù)實(shí)力和創(chuàng)新能力。論文詳細(xì)闡述了Lumiere的設(shè)計(jì)原理和應(yīng)用展示，并為人工智能領(lǐng)域的發(fā)展帶來了新的思路和方向。