Meta Quest Pro面部追蹤現(xiàn)在包括了舌部動作。

在去年對Quest Pro的測試中，我們指出，當用戶在虛擬鏡子中看到自己的面部表情時，伸出舌頭則會打破這種錯覺，而缺少舌部動作顯然也會限制社交VR表現(xiàn)力。

在適用于Unity和本機代碼的SDK v60版本中，Meta發(fā)布了新版本面部跟蹤OpenXR擴展，其中包括了伸舌距離。

Meta Avatars SDK尚未更新以支持此功能，但第三方頭像解決方案在將SDK版本更新到v60后可支持此功能。

ALVR開發(fā)者korejan更新了ALXR VRFCT（VRCFaceTracking）模塊，ALXR是用于PC VR流媒體Virtual Desktop/Steam Link/Quest Link的開源替代品，以支持VRChat虛擬化身舌頭追蹤。

Steam Link和Virtual Desktop均支持Quest Pro面部跟蹤，并可將化身動作傳遞到VRChat，但這兩款應用用戶都需要更新至v60 SDK以嘗試舌頭追蹤。

Quest Pro面部追蹤功能在Quest Store上幾乎沒有任何第三方采用。Meta Horizon套件完全支持面部追蹤，但VRChat僅支持眼動追蹤，而Rec Room和Bigscreen仍然不支持面部或眼動追蹤。

據(jù)報道，這可能是因為Quest Pro的銷量不太理想，而導致第三方采用不一。Quest Pro在推出僅四個月后就將價格從1500美元下調(diào)至1000美元，并且近幾個月一直免費贈送。不過，Quest Pro仍繼續(xù)獲得軟件支持，最近更實現(xiàn)了混合現(xiàn)實性能提升，如今，又新增了舌頭追蹤功能。

Meta有一天會推出Meta Quest眼部和面部追蹤配件嗎？Meta CTO談論了相關(guān)技術(shù)障礙。

Meta Quest Pro支持眼部和面部追蹤，而Meta Quest 3則不支持，理由很充分：配置眼部和面部追蹤功能將使Quest 3對大多數(shù)消費者來說是遙不可及的，Quest 3售價499美元，而 Quest Pro的價格是其兩倍。

為廉價頭顯提供眼部和面部追蹤功能的一種方法是以配件的形式實現(xiàn)。業(yè)界已有這樣的例子：HTC Vive Focus 3支持眼部和面部追蹤模塊。那么，Meta也會提供類似的升級選項嗎？

近日，Meta CTO博斯沃思在Instagram評論了這個問題，以下是他的回答：

“目前還沒有一種真正可靠的方法可以在頭顯下方以附件形式進行眼動追蹤或上臉追蹤。但這是我們時不時會考慮的事情，因為如果能夠?qū)崿F(xiàn)這一點那就太好了。對于眼動追蹤，你需要在多個位置安裝攝像頭，這些位置都在讓用戶神經(jīng)非常緊張和敏感的區(qū)域，這顯然非常困難?！?/p>

“我認為，理論上，下臉追蹤是可能的，但我不確定如果沒有上臉追蹤和眼動追蹤，下臉追蹤有多大用處。在核心模塊之外，眼動追蹤很難做到這一點。”

即使Meta找到了一個運行良好的升級選項，此類模塊也不太可能符合Meta的最終目標，該公司致力于推出更多消費級頭顯，而不是為利基產(chǎn)品提供利基解決方案。

此外，純粹可選的技術(shù)特性永遠不會得到開發(fā)者社區(qū)的全力支持，也很少有應用支持，那么這種技術(shù)潛力將被浪費。

眼部和面部追蹤更有可能在某個時候成為Quest頭顯的標準功能。畢竟，這兩項功能對于VR和AR來說都是必不可少的。博斯沃思最近表示，有朝一日，眼動追蹤功能將成為Quest頭顯的基本配置，可以預見，一旦Quest支持眼球追蹤功能，那么支持面部追蹤功能也不會太遠。

來源：Mixed

早在2015年，蘋果公司收購了蘇黎世的創(chuàng)企Faceshift，該公司的技術(shù)最終被用于創(chuàng)建Animoji和Memoji。美國商標專利局在2019年授予蘋果一項源于Faceshift的專利。而蘋果獲得的關(guān)鍵Faceshift專利之一最早可以追溯到2013年，現(xiàn)在這項專利由美國專利局在2023年1月26日公布。

該專利的主要發(fā)明人是蘋果高級軟件工程師Mark Pauley和Faceshift最初的工程師之一Sofien Bouaziz。Bouaziz在他的簡介中寫道：“設計、開發(fā)和產(chǎn)品化了為iPhone X Animoji提供動力的實時人臉追蹤算法，也可通過ARKit提供給第三方開發(fā)者?！?Bouaziz于2018年離開蘋果進入谷歌工作，而他現(xiàn)在是Meta的XR Presence總監(jiān)。

從技術(shù)上講，該發(fā)明涉及一種實時面部動畫的制作方法及一種處理設備。該方法包括提供一個動態(tài)表情模型，接收對應于用戶面部表情的追蹤數(shù)據(jù)，根據(jù)動態(tài)表情模型和追蹤數(shù)據(jù)估計追蹤參數(shù)，并根據(jù)追蹤數(shù)據(jù)和估計的追蹤參數(shù)完善動態(tài)表情模型。該方法可進一步包括基于追蹤參數(shù)生成與用戶的面部表情相對應的圖形表示。本實施方案涉及一個實時面部動畫系統(tǒng)。

蘋果公司的專利圖1顯示了該專利一個實施例的動態(tài)表情模型示意圖；圖3顯示了一個優(yōu)化管道的流程圖。

蘋果公司的專利圖4顯示了使用所披露主題的實施方案生成的虛擬化身的圖形表示；圖5是根據(jù)一個實施例的方法流程圖。

蘋果公司的專利圖7顯示了用于近似用戶面部表情的不同混合形狀權(quán)重集；圖8描述了根據(jù)一個實施例使用不同動態(tài)表情模型對中性面部表情進行初步估計的結(jié)果。

想了解更多專利細節(jié)，請查閱蘋果的專利申請US 20230024768 A1。

來源：patentlyapple

Meta Quest Pro面部追蹤功能將很快啟用，這一功能將使Meta虛擬化身更具表現(xiàn)力且獲益良多。

Quest Pro一大新功能是面部追蹤系統(tǒng)，它使用內(nèi)部攝像頭來感知用戶眼睛和面部表情動作，結(jié)合了免校準的機器學習模型，并基于頭顯轉(zhuǎn)化為虛擬角色。

Meta已發(fā)布了供開發(fā)者試驗的Aura面部追蹤示例，以及與“運動 SDK”相關(guān)的其他三個開發(fā)者示例，這為開發(fā)者創(chuàng)建眼動、面部和身體追蹤奠定了基礎。

在短期內(nèi)，這將與Meta現(xiàn)有虛擬化身一起使用，雖然這些改進使虛擬化身更具表現(xiàn)力，但實際看起來化身并不靈敏。

這可能是當前虛擬化身系統(tǒng)在構(gòu)建時沒有考慮到高級面部追蹤——模型的底層動畫框架——似乎不太適合這項任務，從而使得Quest Pro面部追蹤輸入移植到當前系統(tǒng)并不能真正發(fā)揮其實際能力。

幸運的是，Meta已重構(gòu)建了一個技術(shù)演示，展示了在設計化身時考慮到Quest Pro面部追蹤（以及幾乎所有頭顯處理面部追蹤渲染）的可能性。

Meta表示將把Aura演示作為一個開源項目發(fā)布，這樣開發(fā)者就可以知道面部追蹤輸入附加到化身的機制，Meta還表示，開發(fā)者將能使用單一工具集來驅(qū)動人形化身或動物、怪物等非人類化身，而無需進行單獨調(diào)整。

Meta指出，開發(fā)者將能夠利用面部追蹤API，該API使用與FACS相對應的值，F(xiàn)ACS是一種被廣泛識別的系統(tǒng)，用于描述人臉不同肌肉的運動。

這不僅是代表人臉的有效系統(tǒng)，而且還為用戶形成了有用的隱私屏障。Meta表示，開發(fā)者實際上無法訪問用戶面部的原始圖像。而在歐洲工商管理學院，實驗者獲得了“一系列從0到1的值，這些數(shù)值與一系列通用的面部動作相對應，比如當你揉鼻子或皺眉時，這些信號使開發(fā)者在將信號從面部追蹤API映射到角色時，更容易保留玩家原始動作的語義，無論角色是人形還是更奇幻的東西?！?/p>

來源：RoadtoVR

PICO 4企業(yè)版支持面部及眼動追蹤功能，這款頭顯是PICO 4的改版，擁有金色前面板和3個額外的攝像頭以追蹤用戶眼動和面部表情，另外，PICO 4企業(yè)版配備了DDR5內(nèi)存，這比消費者型號的DDR4內(nèi)存更快，盡管兩者硬件配置有相同之處，但PICO 4企業(yè)版可運行以業(yè)務為核心的系統(tǒng)軟件。

與PICO 4一樣，PICO 4企業(yè)版也具有電動鏡頭分離調(diào)節(jié)功能，而支持眼動追蹤功能意味著該頭顯可以完全自動處理IPD調(diào)整，這在獨立頭戴式設備中尚屬首次。該系統(tǒng)可測量瞳孔與鏡片之間的距離以匹配，在對PICO 4的評測中，我們注意到IPD設置62mm以下鏡頭會擠壓用戶鼻子，不過，企業(yè)版本似乎增加了額外的填充。

PICO 4企業(yè)版基于面向中國消費者銷售的PICO 4 Pro，存儲容量為256GB，而非512GB。同時PICO告訴我們，企業(yè)版只會出售給注冊企業(yè)，而不是個人，即使你以某種方式得到，該頭顯也無法訪問消費者應用商店。

PICO 4企業(yè)版售價900歐元，這價格包括了商業(yè)保修和優(yōu)先支持，目前，PICO已設立了英語、法語、德語、西班牙語等語言區(qū)域支持中心。

PICO 4企業(yè)版定價明顯低于售價為1800歐元的Meta Quest Pro及1400歐元的HTC Vive Focus 3，后者需要花費360歐元才能擁有支持面部和眼動追蹤功能的附加組件，另外，Meta尚未透露明年即將推出的“Quest for Business”產(chǎn)品的定價細節(jié)。

PICO 4企業(yè)版將在歐洲、澳大利亞和新西蘭上市，預購將于11月1日開始，發(fā)貨將于12月啟動。

來源：UploadVR

據(jù)UploadVR報道，Meta首席執(zhí)行官扎克伯格表示，面部和眼動追蹤是下一代Quest的重點。

在接受博主Lex Fridman采訪時，扎克伯格透露：

“人類大腦可處理面部表情，因此，我們設計下一代Quest或VR頭顯時，重點方向是面部和眼動追蹤，例如基于眼神交流，從而達到超越傳統(tǒng)視頻會議的效果。”

這與扎克伯格一年前接受The Information采訪時發(fā)表的言論如出一轍，彼時扎克伯格談及了“Quest 3和Quest 4”，并暗示“我對未來版本為之興奮的原因是其采用了眼動追蹤和面部追蹤”。

Meta計劃今年發(fā)布兼具面部和眼動追蹤功能的Meta Project Cambria，去年十月Project Cambria公布時，扎克伯格就表示“這不是下一代Quest”，而是將其描述為“全新高端產(chǎn)品”。

扎克伯格還表示Meta將優(yōu)先考慮面部和眼動追蹤，重要性甚至超過頭顯重量，“我不清楚其他專注于元宇宙或VR和AR的公司是否優(yōu)先考慮面部和眼動追蹤功能，不可否認的是，硬件權(quán)衡性左右了硬件的功能，大部分公司都傾向于最輕、最薄，而我們則希望設計最人性化的產(chǎn)品，以創(chuàng)造最豐富的存在感?！?/p>

值得一提的是，盡管扎克伯格的言論暗指Quest 3將具有面部和眼動追蹤功能，但目前沒有跡象表明Quest 3會在短期內(nèi)推出，兩個月前，John Carmack表示“Quest 2產(chǎn)品生命周期很長”，且Meta今年硬件重點似乎是Project Cambria。

據(jù)eletimes報道，來自澳大利亞、新西蘭和印度的一個國際研究團隊將面部追蹤技術(shù)提升到了一個新的水平，支持實驗者在不使用手柄或觸摸板的條件下，基于面部表情操縱VR環(huán)境中的物體。

昆士蘭大學召開的研究會上，人機交互專家采用神經(jīng)處理技術(shù)捕捉了微笑、皺眉、咬緊下巴等人類面部表情，并基于這些表情觸發(fā)了虛擬現(xiàn)實環(huán)境下的特定動作。

參與該實驗的研究人員之一、南澳大利亞大學教授Mark Billinghurst表示，該系統(tǒng)旨在通過 EEG頭顯識別不同的面部表情。

“例如微笑可以觸發(fā)‘移動’指令、皺眉觸發(fā)‘停止’、握拳則能觸發(fā)‘打斗’，從而完全取代手柄操控。除此之外，我們還在捕捉憤怒、快樂、驚訝等常見面部表情，并在VR環(huán)境內(nèi)實現(xiàn)?！?/p>

研究人員設計了三個虛擬環(huán)境——“愉悅”、“中立”和“恐怖”——并測量了實驗者沉浸在每個場景時的認知和生理狀態(tài)。

例如，在愉悅環(huán)境中，實驗者將穿過公園網(wǎng)捕捉蝴蝶，當實驗者微笑時則移動行走，皺眉時則停止腳步。

在中立環(huán)境內(nèi)，實驗者的任務是跟隨路徑導航尋找散落車間四處的物品，期間實驗者咬緊下巴的表情觸發(fā)了撿起物體的動作。

同樣，在恐怖環(huán)境下實驗者也使用了相同的面部表情，實驗者將基于面部表情在地下基地打喪尸。

Mark Billinghurst表示，在VR環(huán)境中依賴面部表情操控物體對大腦而言是一項艱巨的工作，但會給用戶帶來更逼真的體驗。

“希望通過更多研究，我們可以使面部追蹤技術(shù)對用戶更加友好?！?/p>

除了提供VR操控新方法，該操控模式還將支持殘疾人（包括截肢者和患有運動神經(jīng)元疾病的患者）不依賴控制器在VR中實現(xiàn)自由互動。

根據(jù)VRScout報道，HTC VIVE剛剛發(fā)布了HTC VIVE Pro VR頭顯的新配件——VIVE面部追蹤配件，能夠識別用戶的嘴唇、牙齒、舌頭、下巴以及臉頰上的38個運動點，同時還推出了新一代的VIVE Tracker。

面部表情是我們與他人面對面交流的重要組成部分。即使一言不發(fā)，我們也能夠通過面部表情表達從幸福和絕望到憤怒和恐懼等各種情感。但在VR領域，現(xiàn)有的設備還不能賦予用戶同樣的情感表達能力，這也是VIVE面部追蹤配件想要填補的市場空白。

VIVE面部追蹤配件使用雙攝像頭解決方案，具有60Hz的追蹤頻率，響應時間不到10ms，還擁有紅外照明功能，在昏暗的環(huán)境中也可以正常捕捉用戶面部每一個細微的表情。

VIVE面部追蹤配件與VIVE Pro Eye結(jié)合使用將會給用戶提供一個完整的面部追蹤解決方案，非常適合VR社交、企業(yè)培訓、遠程教育以及其他各種潛在的應用場景。

RETìníZE的聯(lián)合創(chuàng)始人兼CTO Jack Morrow在最近的案例研究中稱贊了VIVE面部追蹤配件和VIVE Pro Eye的結(jié)合，他說：“Animotive是一款使用VR功能進行實時3D動畫制作工具。用戶可以進行遠程協(xié)作以花費很少的時間和成本為任何媒體創(chuàng)建內(nèi)容，演員會直接控制角色的動作與表情，并與其他演員進行遠程互動。最終讓任何人都可以成為動畫師制作3D角色動畫。VIVE Pro Eye和VIVE面部追蹤配件可以幫助Animotive將VR的面部捕捉性能提升到了一個全新的水平?！?/p>

根據(jù)HTC官方公布的信息，設置VIVE面部追蹤配件的流程十分簡單易用，可以直接連接在VR頭顯的下部，并適配整個VIVE Pro系列產(chǎn)品。

VIVE面部追蹤配件將于3月24日通過VIVE.com發(fā)售，售價為129.99美元。

除了面部追蹤配件，HTC還公布了VIVE Tracker 3.0，相比上代產(chǎn)品進行了重大升級。新的VIVE Tracker比上一代產(chǎn)品體積縮小了33%，重量減輕了15%，續(xù)航提升了74%，單次充電可以提供7個小時的持續(xù)使用時間。盡管設計變得更小更緊湊，VIVE Tracker 3.0仍可以提供與先前相同的亞毫米級追蹤精度以及240°的追蹤FOV。

HTC美國總經(jīng)理Dan O’Brien在一份官方新聞稿中表示：“ VR社區(qū)使用VIVE Tracker為VR生態(tài)系統(tǒng)開發(fā)的應用程序已經(jīng)形成了一個不斷擴展且實用有趣的程序庫，這一點遠遠超出了我們的期望。憑借更小巧的設計和更有效的能源管理，新一代VIVE Tracker將大大增加VR的實用性和沉浸性，進一步推動該技術(shù)在各個行業(yè)和用例中的應用?！?/p>

HTC的VIVE Tracker 3.0可以向后兼容前幾代產(chǎn)品，并使用與原始VIVE Tracker相同的Pogo插針和安裝布局。它也完全兼容SteamVR 2.0和1.0跟蹤以及所有基于SteamVR的耳機。

VIVE Tracker 3.0同樣將于3月24日通過VIVE.com發(fā)售，售價129.99美元。