Meta可穿戴設(shè)備訪問工具包賦能開發(fā)者,解鎖智能眼鏡新交互

?? 由 文心大模型 生成的文章摘要

Meta公司的可穿戴設(shè)備訪問工具包(Device Access Toolkit)計(jì)劃于本年度晚些時(shí)候正式推出。該工具包將為智能手機(jī)應(yīng)用程序與該公司旗下智能眼鏡之間的交互提供支持,搭建起二者協(xié)同運(yùn)作的技術(shù)橋梁。?

Meta方面表示,隨著該軟件開發(fā)工具包(SDK)首次正式發(fā)布,移動應(yīng)用開發(fā)者將獲得訪問其全系列智能眼鏡硬件功能的權(quán)限,具體涵蓋攝像頭、揚(yáng)聲器及麥克風(fēng)陣列等核心組件。為保障用戶數(shù)據(jù)安全與隱私權(quán)益,用戶需針對每一款應(yīng)用單獨(dú)授予其訪問智能眼鏡功能的權(quán)限,未經(jīng)授權(quán)的應(yīng)用將無法調(diào)用相關(guān)硬件資源。?

在實(shí)際應(yīng)用場景中,開發(fā)者可借助該SDK為應(yīng)用拓展多樣化功能。例如,為應(yīng)用添加第一人稱視角的實(shí)時(shí)直播或視頻錄制功能,滿足用戶在社交分享、工作記錄等場景下的需求;此外,開發(fā)者還可將智能眼鏡攝像頭捕獲的圖像數(shù)據(jù)輸入至第三方多模態(tài)人工智能(AI)模型,通過AI技術(shù)對用戶當(dāng)前觀察的內(nèi)容進(jìn)行分析處理,進(jìn)而實(shí)現(xiàn)如實(shí)時(shí)物體識別、場景解讀等進(jìn)階功能。?

需要注意的是,Meta可穿戴設(shè)備訪問工具包在初始發(fā)布階段暫不支持與Meta AI進(jìn)行集成。這并不意味著開發(fā)者無法基于該工具包構(gòu)建AI相關(guān)應(yīng)用體驗(yàn),而是開發(fā)者需自行承擔(dān)相應(yīng)的技術(shù)成本與資源消耗——具體包括向智能眼鏡發(fā)起連續(xù)音頻流傳輸,以及將攝像頭圖像數(shù)據(jù)發(fā)送至開發(fā)者自主選擇的AI模型等操作。此類數(shù)據(jù)傳輸與處理過程會對智能眼鏡的電池續(xù)航能力產(chǎn)生一定影響。Meta明確指出,在未來對該工具包的更新迭代中,添加與Meta AI的集成功能將是其重點(diǎn)探索的“關(guān)鍵領(lǐng)域”之一。

除上述限制外,該SDK目前亦不支持將圖像數(shù)據(jù)傳輸至Meta Ray-Ban智能眼鏡的顯示平視顯示器(Display HUD),同時(shí)無法從Meta Neural Band設(shè)備中獲取手勢相關(guān)數(shù)據(jù)。不過,Meta透露,公司已啟動相關(guān)技術(shù)研究,正著手探索未來實(shí)現(xiàn)這些功能的可行路徑與技術(shù)方案。?

對于有意向體驗(yàn)該工具包的開發(fā)者,可通過填寫指定表格的方式申請注冊Meta Wearables設(shè)備訪問工具包預(yù)覽版,提前了解工具包的功能特性與技術(shù)細(xì)節(jié),為后續(xù)應(yīng)用開發(fā)做好準(zhǔn)備。?

據(jù)悉,在此次正式發(fā)布前數(shù)月,Meta已向部分合作開發(fā)商提供了該可穿戴設(shè)備訪問工具包的早期測試版本,其中包括Twitch、微軟(Microsoft)及羅技流媒體實(shí)驗(yàn)室(Logitech Streamlabs)等知名企業(yè)。?

從目前的應(yīng)用開發(fā)進(jìn)展來看,Twitch與Logitech Streamlabs正基于該SDK開發(fā)第一人稱視角直播相關(guān)功能,旨在讓用戶能夠在其平臺上實(shí)現(xiàn)第一人稱視角內(nèi)容的直播,該功能模式與當(dāng)前用戶在Instagram平臺上已能實(shí)現(xiàn)的第一人稱直播體驗(yàn)相類似;而微軟則將該工具包應(yīng)用于其Seeing AI平臺,通過整合智能眼鏡的硬件能力與Seeing AI的人工智能技術(shù),為視障用戶提供導(dǎo)航輔助及周邊環(huán)境交互支持,幫助視障用戶更便捷地感知周圍世界、開展日?;顒印?

在眾多應(yīng)用案例中,18Birdies開發(fā)的高爾夫?qū)m?xiàng)應(yīng)用所探索的使用場景尤為值得關(guān)注。該應(yīng)用正嘗試借助Meta可穿戴設(shè)備訪問工具包獲取實(shí)時(shí)高爾夫球場景數(shù)據(jù),包括球位至球洞的實(shí)時(shí)碼數(shù)計(jì)算,并基于這些數(shù)據(jù)為高爾夫球手提供球桿選擇建議。通過這一功能,高爾夫球手在運(yùn)動過程中無需取出智能手機(jī),即可通過智能眼鏡便捷獲取所需信息,提升運(yùn)動體驗(yàn)與競技效率。?

「93913原創(chuàng)內(nèi)容,轉(zhuǎn)載請注明出處」