4月30日，眾多開發(fā)者翹首以盼的Tesseract SDK alpha 0.5版本（內(nèi)測版）在影創(chuàng)科技官網(wǎng)正式發(fā)布，并將保持每兩周更新一次的頻率。該SDK支持GSXR標(biāo)準(zhǔn)，打破兼容性問題壁壘，將大大提高開發(fā)與適配效率，共同推動XR行業(yè)的發(fā)展。讓我們一起來看一下，Tesseract SDK alpha 0.5都有哪些亮點？

1-GSXR

本次發(fā)布的Tesseract SDK支持GSXR這一國內(nèi)最規(guī)范、參與廠商最多的標(biāo)準(zhǔn)。原先，不同廠商提供的SDK普遍存在一個兼容性的問題，為了使同一XR內(nèi)容跨硬件平臺實現(xiàn)快速發(fā)布，中國移動基于此推出了GSXR標(biāo)準(zhǔn)。GSXR標(biāo)準(zhǔn)是一套API，將通用的硬件操控接口進行標(biāo)準(zhǔn)化定義，使得行業(yè)開發(fā)者在開發(fā)應(yīng)用時能調(diào)用標(biāo)準(zhǔn)化的交互能力。硬件廠商的設(shè)備只需要兼容此標(biāo)準(zhǔn)，后續(xù)將可以直接運行基于支持此標(biāo)準(zhǔn)的SDK開發(fā)的應(yīng)用，無需進行SDK移植與發(fā)布。這些接口的標(biāo)準(zhǔn)化與能力的提升，可以使XR內(nèi)容在適配不同硬件時更加靈活，提高開發(fā)與適配效率，勢必極大提升XR行業(yè)的發(fā)展速度。影創(chuàng)科技集團是第一批大力踐行推廣GSXR標(biāo)準(zhǔn)的企業(yè)之一。基于Tesseract SDK開發(fā)的應(yīng)用將直接適配影創(chuàng)科技后續(xù)推出的所有MR產(chǎn)品以及趣立科技服務(wù)的硬件廠商的設(shè)備，打破生態(tài)壁壘，將碎片化現(xiàn)狀向著統(tǒng)一技術(shù)標(biāo)準(zhǔn)逐漸進行整合。

2-地圖

大家都很期待持久化對象的功能可以在XR設(shè)備上實現(xiàn)，但是目前大部分的XR設(shè)備都不支持該功能，只有Magic Leap和HoloLens 2能較好地實現(xiàn)該特性。

現(xiàn)在好消息來了，Tesseract SDK支持持久化對象功能，雖然在alpha 0.5版本中它能實現(xiàn)的功能非常有限，但是，已經(jīng)足夠讓你腦海中很酷的創(chuàng)意轉(zhuǎn)變?yōu)槌錾膽?yīng)用了。

現(xiàn)有功能如下：

i、地圖采集重建

鴻鵠的地圖數(shù)據(jù)依靠純視覺采集，你只需要正常在環(huán)境中步行，就能高效地完成采集，生成稀疏點云地圖，讓你開發(fā)出充滿想象力和個性的應(yīng)用。當(dāng)然，為了向你提供更好的場景轉(zhuǎn)換能力，我們會逐步過渡到稠密點云輸出。

ii、地圖定位識別

目前鴻鵠在識別預(yù)存場景時，整體場景重置時間小于150ms，位移誤差厘米級別，整體角度小于1度。雖然現(xiàn)在緩存地圖只能保存一張，但我們會在后續(xù)的版本更新中開放更多的本地緩存地圖。

當(dāng)前版本存在的問題：

由于我們使用了完整的后端大地圖，使得整個系統(tǒng)雖然可以保存大范圍的地圖，并且進行對象持久化和重新定位，但是，運算量也大幅度增加了，這會導(dǎo)致更高的功耗和略差的性能。此外，由于當(dāng)前版本沒有前端優(yōu)化器（local BA），這會使得定位經(jīng)常出現(xiàn)小范圍的跳變以及一些漂移感。上述問題，將會在不久后的版本中徹底解決（可能是之后的1-2個更新）。

3-全自由度自然手勢

大家都在JIMO上體驗過全自由度的手勢功能，這也是目前國內(nèi)XR設(shè)備中最為先進的手勢體驗。現(xiàn)在，在Tesseract SDK中，手勢有了長足的進步，不僅多了許多新的交互特性，延遲也已經(jīng)降低到100ms附近（我們還在持續(xù)優(yōu)化當(dāng)前的算法，100ms已經(jīng)是市面上最接近Oculus Quest 2的產(chǎn)品，不過Oculus Quest 2剛發(fā)布了60fps版本的手勢追蹤，這使得延遲更低了，我們也會繼續(xù)努力噠）。

相比JIMO，Tesseract SDK中的手勢有如下特點：

i、手部射線定位

相比JIMO以頭部為中心對手勢進行小范圍的定位方式來說，Tesseract SDK中的手部射線完全是以手的姿態(tài)為基準(zhǔn)的定位。這使得手部交互更加方便，我們不需要把手抬得太高就可以進行大部分的功能操作。

ii、低延遲和ATW

如上所述，我們已經(jīng)把手部延遲降低到了100ms左右，并且加入了ATW功能使得當(dāng)頭部和手部同時運動的時候，手部的姿態(tài)會遠比沒有加入ATW時準(zhǔn)確得多。

iii、更多的狀態(tài)判定

我們增加了更多不同狀態(tài)的手勢的事件

大家可以在MRTK的應(yīng)用中測試這些交互體驗。

當(dāng)前版本存在的問題：

在某些光照環(huán)境下，可能會出現(xiàn)手勢識別的誤檢。我們已經(jīng)認(rèn)為誤檢非常少了，但是依然會存在。所以非常希望大家能夠給我們更多的數(shù)據(jù)（可以通過開發(fā)者論壇bbs.movisionxr.com提交當(dāng)前的誤檢環(huán)境的照片）以幫助我們提供更魯棒的手勢系統(tǒng)。我們還在繼續(xù)優(yōu)化延遲，但可能不會立刻發(fā)布，因為我們需要更多時間和環(huán)境的測試。

4-6DoF手柄

6DoF手柄是XR交互中十分重要的外設(shè)，對于Oculus Quest的成功它幾乎是決定性的，現(xiàn)在已經(jīng)幾乎成為了VR設(shè)備的標(biāo)配。但我們沒有看到太多的MR設(shè)備標(biāo)配6DoF手柄。Magic Leap雖然有磁力6DoF手柄，但是不夠穩(wěn)定，尺度精度不高，且延遲很大；HoloLens 2、Nreal等設(shè)備索性就沒有6DoF手柄。

Tesseract SDK提供了標(biāo)準(zhǔn)的6DoF手柄接口，鴻鵠也支持兩種不同規(guī)格的手柄（使用同一套SDK開發(fā)就可以）。由于開發(fā)進度原因，目前鴻鵠設(shè)備只支持大手柄的6DoF功能，但是它的延遲效果、精度和魯棒性都達到了不錯的狀態(tài)，幾乎可以比肩Quest系列。

Mini手柄將在今年夏天晚些時候發(fā)布，由于SDK的兼容性，大家可以先使用大手柄進行內(nèi)容的開發(fā)創(chuàng)作。

5-云地圖

持久化對象功能雖然十分令人興奮，但是也只能作為單機地圖進行保存，無法作為大規(guī)模聯(lián)機設(shè)備使用（假設(shè)有一個商用場景，例如工廠，我們不可能讓每一臺設(shè)備都去對工廠進行一次建圖，這會耗費大量人力，而且不能確保每臺設(shè)備所建立地圖的一致性）。因此，云地圖給了很好的解決方案，使用專業(yè)設(shè)備建立一次性的高精度地圖，并存儲在云端服務(wù)器中，本地的眼鏡終端可以利用云端大地圖進行定位，帶來更好更快的定位效果。

當(dāng)前版本存在的問題：

當(dāng)前版本只支持非實時的地圖構(gòu)建（雖然這已經(jīng)很棒了），但是如果多人要在一個陌生環(huán)境中進行協(xié)作的話，這顯然是很不方便的。因此我們正在開發(fā)實時的云地圖構(gòu)建系統(tǒng)，未來可以由任意一臺設(shè)備進行云地圖的構(gòu)建并且實時共享給其他設(shè)備。

另外，2021 Qualcomm XR 創(chuàng)新應(yīng)用挑戰(zhàn)賽第五期在線公開課將于今晚上線。本次公開課由林國森（影創(chuàng)科技）、張童（趣立科技）和李文亮（Unity3D資深工程師）主持。本次課程課內(nèi)里包含了影創(chuàng)XR設(shè)備介紹、SDK快速入門教程及行業(yè)應(yīng)用，以及趣立賽道Sonic VR開發(fā)機適配方案。感興趣的小伙伴千萬不要錯過今天晚上的直播課哦！