B站團隊開源動漫視頻生成模型AniSora,一鍵創(chuàng)建不同風格片段

?? 由 文心大模型 生成的文章摘要

在人工智能與動漫創(chuàng)作深度融合的時代浪潮下,B站團隊于5月12日重磅開源動漫視頻生成模型AniSora,為動漫創(chuàng)作者與愛好者帶來全新的創(chuàng)作工具與可能。AniSora具備強大的一鍵式創(chuàng)作能力,能夠輕松創(chuàng)建多種動漫風格的視頻片段,其覆蓋范圍極為廣泛,不僅涉及系列劇集、中國原創(chuàng)動畫、漫畫改編作品等傳統(tǒng)動漫類型,還延伸至VTuber內(nèi)容、動漫PV以及鬼畜動畫等新興且極具特色的領(lǐng)域。?

B站團隊坦言,隨著動漫產(chǎn)業(yè)的蓬勃發(fā)展,動畫內(nèi)容在當今影視行業(yè)中的地位愈發(fā)重要,吸引了大量觀眾的目光與喜愛。當下,盡管Sora、Kling、CogVideoX等先進模型在自然視頻生成領(lǐng)域展現(xiàn)出卓越性能,能逼真地模擬現(xiàn)實世界中的場景與動作,但面對風格迥異、充滿想象力的動漫視頻創(chuàng)作時,卻難以達到理想效果。動漫獨特的藝術(shù)風格,從夸張的人物造型、絢麗的色彩運用,到極具表現(xiàn)力的分鏡設計;夸張的運動,如超現(xiàn)實的打斗特效、天馬行空的飛行場景;以及對物理規(guī)律的大膽突破,都使得動漫視頻的生成與評測成為行業(yè)內(nèi)的一大難題。?

而此次開源的AniSora項目,堪稱動漫視頻生成領(lǐng)域的系統(tǒng)性解決方案。在數(shù)據(jù)處理方面,AniSora擁有超過1000萬條高質(zhì)量數(shù)據(jù)構(gòu)成的處理流水線,這些數(shù)據(jù)經(jīng)過精心篩選與處理,涵蓋了海量動漫作品的畫面、情節(jié)、角色等信息,為模型的訓練提供了堅實的數(shù)據(jù)基礎(chǔ),確保模型能夠充分學習動漫創(chuàng)作的各種規(guī)律與風格特點。?

在生成模型上,AniSora的可控性令人矚目。它創(chuàng)新性地引入時空掩碼模塊,該模塊如同一位“智能導演”,精準把控視頻生成過程中的時間與空間維度。通過這一模塊,AniSora支持圖生視頻功能,創(chuàng)作者僅需上傳一張靜態(tài)圖片,模型便能圍繞圖片主題,自動生成連貫流暢的動態(tài)視頻;幀插值功能可在已有視頻幀的基礎(chǔ)上,智能補充中間幀,讓視頻動作更加順滑自然;局部圖像引導功能則允許創(chuàng)作者指定視頻中的某些區(qū)域或元素,對其進行特定風格或動作的生成,極大地提升了創(chuàng)作的靈活性與自由度,滿足了動漫制作過程中的各種關(guān)鍵需求。?

「93913原創(chuàng)內(nèi)容,轉(zhuǎn)載請注明出處」