Meta公司的可穿戴設(shè)備訪問工具包(Device Access Toolkit)計劃于本年度晚些時候正式推出。該工具包將為智能手機應用程序與該公司旗下智能眼鏡之間的交互提供支持,搭建起二者協(xié)同運作的技術(shù)橋梁。?
Meta方面表示,隨著該軟件開發(fā)工具包(SDK)首次正式發(fā)布,移動應用開發(fā)者將獲得訪問其全系列智能眼鏡硬件功能的權(quán)限,具體涵蓋攝像頭、揚聲器及麥克風陣列等核心組件。為保障用戶數(shù)據(jù)安全與隱私權(quán)益,用戶需針對每一款應用單獨授予其訪問智能眼鏡功能的權(quán)限,未經(jīng)授權(quán)的應用將無法調(diào)用相關(guān)硬件資源。?
在實際應用場景中,開發(fā)者可借助該SDK為應用拓展多樣化功能。例如,為應用添加第一人稱視角的實時直播或視頻錄制功能,滿足用戶在社交分享、工作記錄等場景下的需求;此外,開發(fā)者還可將智能眼鏡攝像頭捕獲的圖像數(shù)據(jù)輸入至第三方多模態(tài)人工智能(AI)模型,通過AI技術(shù)對用戶當前觀察的內(nèi)容進行分析處理,進而實現(xiàn)如實時物體識別、場景解讀等進階功能。?
需要注意的是,Meta可穿戴設(shè)備訪問工具包在初始發(fā)布階段暫不支持與Meta AI進行集成。這并不意味著開發(fā)者無法基于該工具包構(gòu)建AI相關(guān)應用體驗,而是開發(fā)者需自行承擔相應的技術(shù)成本與資源消耗——具體包括向智能眼鏡發(fā)起連續(xù)音頻流傳輸,以及將攝像頭圖像數(shù)據(jù)發(fā)送至開發(fā)者自主選擇的AI模型等操作。此類數(shù)據(jù)傳輸與處理過程會對智能眼鏡的電池續(xù)航能力產(chǎn)生一定影響。Meta明確指出,在未來對該工具包的更新迭代中,添加與Meta AI的集成功能將是其重點探索的“關(guān)鍵領(lǐng)域”之一。
除上述限制外,該SDK目前亦不支持將圖像數(shù)據(jù)傳輸至Meta Ray-Ban智能眼鏡的顯示平視顯示器(Display HUD),同時無法從Meta Neural Band設(shè)備中獲取手勢相關(guān)數(shù)據(jù)。不過,Meta透露,公司已啟動相關(guān)技術(shù)研究,正著手探索未來實現(xiàn)這些功能的可行路徑與技術(shù)方案。?
對于有意向體驗該工具包的開發(fā)者,可通過填寫指定表格的方式申請注冊Meta Wearables設(shè)備訪問工具包預覽版,提前了解工具包的功能特性與技術(shù)細節(jié),為后續(xù)應用開發(fā)做好準備。?
據(jù)悉,在此次正式發(fā)布前數(shù)月,Meta已向部分合作開發(fā)商提供了該可穿戴設(shè)備訪問工具包的早期測試版本,其中包括Twitch、微軟(Microsoft)及羅技流媒體實驗室(Logitech Streamlabs)等知名企業(yè)。?
從目前的應用開發(fā)進展來看,Twitch與Logitech Streamlabs正基于該SDK開發(fā)第一人稱視角直播相關(guān)功能,旨在讓用戶能夠在其平臺上實現(xiàn)第一人稱視角內(nèi)容的直播,該功能模式與當前用戶在Instagram平臺上已能實現(xiàn)的第一人稱直播體驗相類似;而微軟則將該工具包應用于其Seeing AI平臺,通過整合智能眼鏡的硬件能力與Seeing AI的人工智能技術(shù),為視障用戶提供導航輔助及周邊環(huán)境交互支持,幫助視障用戶更便捷地感知周圍世界、開展日常活動。?
在眾多應用案例中,18Birdies開發(fā)的高爾夫?qū)m棏盟剿鞯氖褂脠鼍坝葹橹档藐P(guān)注。該應用正嘗試借助Meta可穿戴設(shè)備訪問工具包獲取實時高爾夫球場景數(shù)據(jù),包括球位至球洞的實時碼數(shù)計算,并基于這些數(shù)據(jù)為高爾夫球手提供球桿選擇建議。通過這一功能,高爾夫球手在運動過程中無需取出智能手機,即可通過智能眼鏡便捷獲取所需信息,提升運動體驗與競技效率。?