谷歌宣布，其AI研發(fā)部門(mén)DeepMind正加速推進(jìn)“AI融合計(jì)劃”，將旗下多模態(tài)大模型Gemini與視頻生成模型Veo深度整合，以構(gòu)建更強(qiáng)大的全能型AI助手。根據(jù)DeepMind首席執(zhí)行官Demis Hassabis在播客節(jié)目中的披露，Gemini與Veo的融合旨在提升AI對(duì)物理世界的理解能力。Gemini作為谷歌的核心多模態(tài)模型，已支持文本、圖像、音頻生成，而Veo 2通過(guò)分析海量YouTube視頻數(shù)據(jù)，掌握了物體運(yùn)動(dòng)規(guī)律和場(chǎng)景動(dòng)態(tài)。兩者的結(jié)合將使AI助手不僅能生成內(nèi)容，還能基于現(xiàn)實(shí)邏輯推理，例如預(yù)測(cè)物體運(yùn)動(dòng)的軌跡或模擬復(fù)雜環(huán)境中的交互。
?
Hassabis在由領(lǐng)英聯(lián)合創(chuàng)始人Reid Hoffman共同主持的播客節(jié)目Possible中透露了這一計(jì)劃。他表示：“我們從一開(kāi)始就將Gemini這一基礎(chǔ)模型打造為多模態(tài)模型，因?yàn)槲覀冇兄鴺?gòu)建一個(gè)通用數(shù)字助手的愿景，這個(gè)助手能夠在現(xiàn)實(shí)世界中真正為你提供幫助?！?
目前，整個(gè)AI行業(yè)正逐漸朝著“全能”模型的方向發(fā)展，這些模型能夠理解和整合多種媒體形式。谷歌最新Gemini模型不僅可以生成圖像和文本，還能生成音頻；而OpenAI在 ChatGPT中的默認(rèn)模型如今也能創(chuàng)建圖像，包括宮崎駿風(fēng)格的藝術(shù)作品。亞馬遜也宣布計(jì)劃在今年晚些時(shí)候推出一款“任意到任意”的模型。?
據(jù)了解，這些“全能”模型需要大量的訓(xùn)練數(shù)據(jù)，包括圖像、視頻、音頻、文本等。Hassabis 暗示，Veo的視頻數(shù)據(jù)主要來(lái)源于谷歌旗下的YouTube平臺(tái)。他說(shuō)道：“通過(guò)觀看大量的 YouTube視頻，Veo 2能夠了解世界的物理規(guī)律。” 此前，谷歌曾表示，其模型可能會(huì)根據(jù)與YouTube創(chuàng)作者達(dá)成的協(xié)議，使用“部分”YouTube 內(nèi)容進(jìn)行訓(xùn)練。據(jù)報(bào)道，該公司去年擴(kuò)大了服務(wù)條款的部分內(nèi)容，以便獲取更多數(shù)據(jù)來(lái)訓(xùn)練其AI模型。
用于生成創(chuàng)意內(nèi)容的人工智能 （AI）技術(shù)正在迅速改進(jìn)，但無(wú)縫的使用方式仍然尚未普及。
谷歌正在改變這一現(xiàn)狀，讓全球數(shù)百萬(wàn)創(chuàng)作者和數(shù)十億用戶(hù)更輕松使用這些令人驚嘆的技術(shù)。在接下來(lái)的幾個(gè)月里，谷歌將通過(guò)Dream Screen向YouTube創(chuàng)作者推出先進(jìn)的生成式AI模型Veo和Imagen 3。
從突破性的Transformer架構(gòu)到多年的擴(kuò)散模型研究，這些模型建立在谷歌近十年的創(chuàng)新之上，現(xiàn)已針對(duì)大規(guī)模使用進(jìn)行了優(yōu)化。
在整個(gè)過(guò)程中，谷歌與藝術(shù)家和創(chuàng)作者密切合作，并以好奇心和反饋為指導(dǎo)，確保技術(shù)能夠幫助更多人實(shí)現(xiàn)他們的創(chuàng)作愿景。
創(chuàng)作者很快就能使用Dream Screen生成視頻
通過(guò)將Veo集成到Dream Screen，YouTube創(chuàng)作者很快就能為Shorts制作精彩的背景。明年初，谷歌還將支持制作6秒獨(dú)立視頻片段。
從初始文本提示開(kāi)始，Dream Screen使用Imagen 3生成四張不同的圖像。創(chuàng)作者可以從這些選項(xiàng)中挑選一張具有自己喜歡的風(fēng)格、構(gòu)圖或美感的圖像。使用選定的圖像，Veo會(huì)生成一段高質(zhì)量的6秒背景視頻，以滿(mǎn)足用戶(hù)的創(chuàng)意需求。2025年，創(chuàng)作者還可以使用Dream Screen為短片制作6秒獨(dú)立視頻片段。谷歌希望這些新的視頻和音樂(lè)生成技術(shù)能夠激勵(lì)更多的人以生動(dòng)、變革的方式將想法變?yōu)楝F(xiàn)實(shí)。
為了幫助識(shí)別AI生成的內(nèi)容，這些作品將使用SynthID及水印，且YouTube應(yīng)用標(biāo)簽將能清楚向觀眾傳達(dá)該內(nèi)容基于AI生成。