4月27日，在中關村論壇未來人工智能先鋒論壇上，生數(shù)科技聯(lián)合清華大學正式發(fā)布中國首個長時長、高一致性、高動態(tài)性視頻大模型——Vidu。該模型采用團隊原創(chuàng)的Diffusion與Transformer融合的架構(gòu)U-ViT，支持一鍵生成長達16秒、分辨率高達1080P的高清視頻內(nèi)容。

Vidu不僅能夠模擬真實物理世界，還擁有豐富想象力，具備多鏡頭生成、時空一致性高等特點。Vidu是自Sora發(fā)布之后全球率先取得重大突破的視頻大模型，性能全面對標國際頂尖水平，并在加速迭代提升中。

值得一提的是，采用Vidu生成視頻中的片段都是從頭到尾連續(xù)生成，沒有明顯的插幀現(xiàn)象，從這種“一鏡到底”的表現(xiàn)能夠推測出，Vidu采用的是“一步到位”的生成方式，與Sora一樣，文本到視頻的轉(zhuǎn)換是直接且連續(xù)的，在底層算法實現(xiàn)上是基于單一模型完全端到端生成，不涉及中間的插幀和其他多步驟的處理。

Vidu的快速突破源自于團隊在貝葉斯機器學習和多模態(tài)大模型的長期積累和多項原創(chuàng)性成果。其核心技術U-ViT架構(gòu)由團隊于2022年9月提出，早于Sora采用的DiT架構(gòu)，是全球首個Diffusion與Transformer融合的架構(gòu)。2023年3月，團隊開源了全球首個基于U-ViT融合架構(gòu)的多模態(tài)擴散模型UniDiffuser，率先完成了U-ViT架構(gòu)的大規(guī)?？蓴U展性驗證。

自今年2月Sora發(fā)布推出后，基于對U-ViT架構(gòu)的深入理解以及長期積累的工程與數(shù)據(jù)經(jīng)驗，團隊在短短兩個月里進一步突破了長視頻表示與處理的多項關鍵技術，研發(fā)了Vidu視頻大模型，顯著提升視頻的連貫性和動態(tài)性。

Vidu的問世，不僅是U-ViT融合架構(gòu)在大規(guī)模視覺任務中的又一次成功驗證，也代表了生數(shù)科技在多模態(tài)原生大模型領域的持續(xù)創(chuàng)新能力和領先性。作為通用視覺模型，Vidu能夠支持生成更加多樣化、更長時長的視頻內(nèi)容，同時面向未來，靈活架構(gòu)將能夠兼容更廣泛的模態(tài)，進一步拓展多模態(tài)通用能力的邊界。

生數(shù)科技表示，大模型的突破是一個多維度、跨領域的綜合性過程，需要技術與產(chǎn)業(yè)應用的深度融合。因此在發(fā)布之際，生數(shù)科技正式推出“Vidu大模型合作伙伴計劃”，誠邀產(chǎn)業(yè)鏈上下游企業(yè)、研究機構(gòu)加入，共同構(gòu)建合作生態(tài)。

申請鏈接：

https://shengshu.feishu.cn/share/base/form/shrcnybSDE4Id1JnA5EQ0scv1Ph