中國生成式人工智能工具正在開辟一個(gè)獨(dú)特的市場，既提供娛樂性又具有實(shí)用價(jià)值，同時(shí)在保護(hù)文化遺產(chǎn)方面發(fā)揮著關(guān)鍵作用。

其中，北京人工智能初創(chuàng)公司生數(shù)科技上周推出了一款名為Vidu-1.5的圖像轉(zhuǎn)視頻工具，據(jù)稱是一種支持多實(shí)體一致性的多模態(tài)模型。

實(shí)際上，這意味著人工智能只需輸入三張圖像即可生成視頻。例如，在該公司分享的一段視頻中，輸入圖像（一名男子、一套未來機(jī)甲和一幅繁華的夜間城市景觀）無縫融合成連貫的蒙太奇畫面，整個(gè)過程僅用了30秒。

理解和控制多個(gè)實(shí)體（例如人、服裝和環(huán)境）是人工智能生成視頻技術(shù)面臨的最大挑戰(zhàn)。

自從ChatGPT推出開創(chuàng)性Sora以來，多家中國科技公司迅速跟進(jìn)，推出了具有獨(dú)特特色的產(chǎn)品，生數(shù)科技的Vidu就是一個(gè)很受歡迎的例子。

這款人工智能生成內(nèi)容工具已經(jīng)點(diǎn)燃了全球個(gè)人創(chuàng)作者的創(chuàng)作熱情，誕生了許多俏皮而富有想象力的視頻，例如萊昂納多·迪卡普里奧在T臺(tái)上展示高級(jí)時(shí)裝、馬斯克身穿華麗的中式夾克騎著電動(dòng)滑板車，以及一系列日本動(dòng)漫場景。

生數(shù)科技首席執(zhí)行官唐家渝表示，“Vidu”最大的突破是建立了場景內(nèi)多個(gè)用戶指定對(duì)象之間的邏輯關(guān)系。

使用以前的文本轉(zhuǎn)視頻工具，生成“一個(gè)男孩拿著水晶蛋糕”這樣的場景時(shí)，每次都會(huì)產(chǎn)生不同的男孩、蛋糕和水晶圖像，就像打開盲盒一樣?，F(xiàn)在，有了多主題一致性，男孩、蛋糕和水晶的身份可以在整個(gè)視頻中保留下來，保持連續(xù)性。

中國國家互聯(lián)網(wǎng)信息辦公室8月份表示，中國已備案并推出了180多個(gè)可以向公眾提供服務(wù)的人工智能生成內(nèi)容模型。

根據(jù)中國信息通信研究院7月份發(fā)布的全球數(shù)字經(jīng)濟(jì)白皮書，在全球1300多個(gè)人工智能大型語言模型中，中國占比超過30%，成為僅次于美國的第二大貢獻(xiàn)者。

除了方便網(wǎng)絡(luò)用戶的娛樂創(chuàng)作外，AIGC工具在中國也越來越多應(yīng)用于各種場景，其中之一就是文化遺產(chǎn)的保護(hù)和推廣。

字節(jié)跳動(dòng)自主研發(fā)的生成式人工智能工具“即夢(mèng)”被用于制作一部完全由人工智能生成的科幻短劇，該劇旨在弘揚(yáng)中國古代文化，這是國內(nèi)首部此類劇。

7月上映的《三星堆：未來啟示錄》講述了一個(gè)近未來的故事，其中的主角冒險(xiǎn)進(jìn)入一個(gè)數(shù)字重建的擁有3000多年歷史的古蜀王國，以避免即將來臨的文明危機(jī)。

該系列采用了多種生成式技術(shù)，包括AI腳本編寫、概念和故事板設(shè)計(jì)、圖像到視頻的轉(zhuǎn)換、視頻編輯和媒體內(nèi)容增強(qiáng)。

總部位于北京的生數(shù)科技表示，其人工智能文本轉(zhuǎn)視頻工具Vidu現(xiàn)可通過組合圖像來生成視頻。

Vidu已允許全球用戶根據(jù)書面提示制作8秒視頻。盡管OpenAI在2月份透露其AI模型 Sora可以根據(jù)文本生成一分鐘的視頻，但尚未公開發(fā)布。

生數(shù)科技表示，Vidu新AI功能可將三張圖片（例如一件襯衫、一個(gè)人和一輛輕便摩托車）組合成一段視頻，視頻中，一個(gè)人穿著襯衫，騎著輕便摩托車穿過某個(gè)場景。

相比之下其他平臺(tái)聲稱可以采用人工智能將文本或圖像轉(zhuǎn)換為視頻，但輸出質(zhì)量參差不齊。生數(shù)聲稱的突破是能夠拍攝三張獨(dú)特的圖像并將它們以視覺一致性整合到人工智能生成的視頻中。

“我們很早就發(fā)現(xiàn)（視覺一致性）是個(gè)問題，并希望很好解決這個(gè)問題?！鄙鷶?shù)首席技術(shù)官鮑凡表示。

Vidu于4月推出，其將兩張個(gè)人資料照片轉(zhuǎn)換成栩栩如生的擁抱視頻的功能在TikTok上走紅。

據(jù)稱這款A(yù)I視頻生成器已盈利，生數(shù)科技聯(lián)合創(chuàng)始人兼首席執(zhí)行官唐家渝表示，為了解決版權(quán)問題，公司可能會(huì)與藝術(shù)家簽訂協(xié)議，允許人工智能模仿藝術(shù)家的繪畫風(fēng)格來制作廣告。

生數(shù)科技成立于去年，其支持者包括百度風(fēng)投、阿里旗下螞蟻集團(tuán)、智譜AI、啟明創(chuàng)投；唐家渝表示，Vidu人工智能依靠國內(nèi)外租用的云服務(wù)器運(yùn)行。

4月27日，在中關(guān)村論壇未來人工智能先鋒論壇上，生數(shù)科技聯(lián)合清華大學(xué)正式發(fā)布中國首個(gè)長時(shí)長、高一致性、高動(dòng)態(tài)性視頻大模型——Vidu。該模型采用團(tuán)隊(duì)原創(chuàng)的Diffusion與Transformer融合的架構(gòu)U-ViT，支持一鍵生成長達(dá)16秒、分辨率高達(dá)1080P的高清視頻內(nèi)容。

Vidu不僅能夠模擬真實(shí)物理世界，還擁有豐富想象力，具備多鏡頭生成、時(shí)空一致性高等特點(diǎn)。Vidu是自Sora發(fā)布之后全球率先取得重大突破的視頻大模型，性能全面對(duì)標(biāo)國際頂尖水平，并在加速迭代提升中。

值得一提的是，采用Vidu生成視頻中的片段都是從頭到尾連續(xù)生成，沒有明顯的插幀現(xiàn)象，從這種“一鏡到底”的表現(xiàn)能夠推測出，Vidu采用的是“一步到位”的生成方式，與Sora一樣，文本到視頻的轉(zhuǎn)換是直接且連續(xù)的，在底層算法實(shí)現(xiàn)上是基于單一模型完全端到端生成，不涉及中間的插幀和其他多步驟的處理。

Vidu的快速突破源自于團(tuán)隊(duì)在貝葉斯機(jī)器學(xué)習(xí)和多模態(tài)大模型的長期積累和多項(xiàng)原創(chuàng)性成果。其核心技術(shù)U-ViT架構(gòu)由團(tuán)隊(duì)于2022年9月提出，早于Sora采用的DiT架構(gòu)，是全球首個(gè)Diffusion與Transformer融合的架構(gòu)。2023年3月，團(tuán)隊(duì)開源了全球首個(gè)基于U-ViT融合架構(gòu)的多模態(tài)擴(kuò)散模型UniDiffuser，率先完成了U-ViT架構(gòu)的大規(guī)模可擴(kuò)展性驗(yàn)證。

自今年2月Sora發(fā)布推出后，基于對(duì)U-ViT架構(gòu)的深入理解以及長期積累的工程與數(shù)據(jù)經(jīng)驗(yàn)，團(tuán)隊(duì)在短短兩個(gè)月里進(jìn)一步突破了長視頻表示與處理的多項(xiàng)關(guān)鍵技術(shù)，研發(fā)了Vidu視頻大模型，顯著提升視頻的連貫性和動(dòng)態(tài)性。

Vidu的問世，不僅是U-ViT融合架構(gòu)在大規(guī)模視覺任務(wù)中的又一次成功驗(yàn)證，也代表了生數(shù)科技在多模態(tài)原生大模型領(lǐng)域的持續(xù)創(chuàng)新能力和領(lǐng)先性。作為通用視覺模型，Vidu能夠支持生成更加多樣化、更長時(shí)長的視頻內(nèi)容，同時(shí)面向未來，靈活架構(gòu)將能夠兼容更廣泛的模態(tài)，進(jìn)一步拓展多模態(tài)通用能力的邊界。

生數(shù)科技表示，大模型的突破是一個(gè)多維度、跨領(lǐng)域的綜合性過程，需要技術(shù)與產(chǎn)業(yè)應(yīng)用的深度融合。因此在發(fā)布之際，生數(shù)科技正式推出“Vidu大模型合作伙伴計(jì)劃”，誠邀產(chǎn)業(yè)鏈上下游企業(yè)、研究機(jī)構(gòu)加入，共同構(gòu)建合作生態(tài)。

申請(qǐng)鏈接：

https://shengshu.feishu.cn/share/base/form/shrcnybSDE4Id1JnA5EQ0scv1Ph