據(jù)站長(zhǎng)之家 1 月 7 日?qǐng)?bào)道，與圖片生成相比，視頻生成仍存在巨大挑戰(zhàn)。首先，視頻生成需要處理更高維度的數(shù)據(jù)，考慮額外時(shí)間維度帶來的時(shí)序建模問題，因此需要更多的視頻 - 文本對(duì)數(shù)據(jù)來驅(qū)動(dòng)時(shí)序動(dòng)態(tài)的學(xué)習(xí)。然而，對(duì)視頻進(jìn)行準(zhǔn)確的時(shí)序標(biāo)注非常昂貴。這限制了視頻 - 文本數(shù)據(jù)集的規(guī)模，如現(xiàn)有 WebVid10M 視頻數(shù)據(jù)集包含10.7M 視頻 - 文本對(duì)，與 LAION-5B 圖片數(shù)據(jù)集在數(shù)據(jù)規(guī)模上相差甚遠(yuǎn)，嚴(yán)重制約了視頻生成模型規(guī)模化的擴(kuò)展。為解決上述問題，華中科技大學(xué)、阿里巴巴集團(tuán)、浙江大學(xué)和螞蟻集團(tuán)聯(lián)合研究團(tuán)隊(duì)于近期發(fā)布了TF-T2V視頻方案。該方案另辟蹊徑，提出了基于大規(guī)模無文本標(biāo)注視頻數(shù)據(jù)進(jìn)行視頻生成，能夠?qū)W習(xí)豐富的運(yùn)動(dòng)動(dòng)態(tài)。 本文鏈接：https://www.aixinzhijie.com/article/6843018 轉(zhuǎn)載請(qǐng)注明文章出處