Meta AI發(fā)布了一段視頻,演示了Project Aria AR眼鏡捕獲點(diǎn)云原理,基于Llama AI SceneScript 模型可以將點(diǎn)云解釋為如墻壁、窗戶、門和家具等可識別的現(xiàn)實(shí)世界物體。
該捕獲輸出模式為一個英語文本文件,采用結(jié)構(gòu)化標(biāo)記代碼格式化,并包含目標(biāo)對象的尺寸。這些數(shù)據(jù)足以勾勒出目標(biāo)對象的輪廓或使用邊界框創(chuàng)建3D渲染。
基于Meta Quest 3運(yùn)行SceneScript軟件,研究人員可通過直通視圖來顯示重疊的點(diǎn)云數(shù)據(jù)和標(biāo)記的場景元素。最令人印象深刻的是,SceneScript還可以創(chuàng)建更復(fù)雜的幾何形狀,使桌子、辦公椅和沙發(fā)顯示更多細(xì)節(jié)。
不過,雖然Meta Project Aria眼鏡可捕獲數(shù)據(jù)以重建場景,但原型設(shè)備搭載的高通Snapdragon 835處理器不足以進(jìn)行處理;且Project Aria不包含深度傳感器,所以點(diǎn)云僅基于視覺處理。
目前消費(fèi)者還無法在Quest 3或Ray-Ban Meta智能眼鏡上使用SceneScript,顯然,Meta的研究為即將推出的AR眼鏡勾勒了一個新的前景。
識別空間中物體的細(xì)節(jié)將帶來更加身臨其境的增強(qiáng)現(xiàn)實(shí)體驗(yàn),使得虛擬內(nèi)容可與周圍環(huán)境進(jìn)行交互,未來,像Quest 3 First Encounters這般的應(yīng)用將能支持AR眼鏡。