新加坡南洋理工大學(xué)研究人員最近推出了一種在元宇宙中跟蹤人類運(yùn)動的新方法。

元宇宙的關(guān)鍵特征之一是能夠在數(shù)字世界中實(shí)時(shí)表示現(xiàn)實(shí)世界的物體和人。例如，在虛擬現(xiàn)實(shí)中，用戶可以轉(zhuǎn)動頭部來改變視野或操縱現(xiàn)實(shí)世界中的物理控制器來影響數(shù)字環(huán)境。

目前，在元宇宙中捕獲人類活動基于設(shè)備的傳感器、攝像頭或兩者的組合方案。然而，正如研究人員在研究論文中所闡述，這兩種方式都有局限性。

研究人員表示，基于設(shè)備的傳感系統(tǒng)，例如帶有運(yùn)動傳感器的手持控制器，“只能捕獲人體某一點(diǎn)的信息，因此無法模擬非常復(fù)雜的活動”；基于攝像頭的追蹤系統(tǒng)難以應(yīng)對弱光環(huán)境和物理障礙物。

多年來，研究人員一直在使用WiFi傳感器來追蹤人類的活動。與雷達(dá)非常相似，用于發(fā)送和接收WiFi數(shù)據(jù)的無線電信號可用于感知太空中的物體。

WiFi傳感器可以進(jìn)行微調(diào)，以采集心跳、追蹤呼吸和睡眠模式，甚至可以透過墻壁感知人體。研究人員曾嘗試將傳統(tǒng)追蹤方法與WiFi傳感相結(jié)合，并取得了不同程度的成功。

WiFi追蹤需要使用人工智能模型。然而，事實(shí)證明，訓(xùn)練這些模型對于研究人員來說具有很高的難度。

“使用Wi-Fi和視覺模式的現(xiàn)有解決方案依賴于大量標(biāo)記的數(shù)據(jù)，這些數(shù)據(jù)收集起來非常麻煩。為此我們提出了一種新穎的無監(jiān)督多模式HAR [人類活動識別]解決方案MaskFi，可利用未標(biāo)記的視頻和Wi-Fi活動數(shù)據(jù)進(jìn)行模型訓(xùn)練。”

為了訓(xùn)練HAR WiFi傳感實(shí)驗(yàn)所需的必要模型，研究人員必須建立一個訓(xùn)練數(shù)據(jù)庫。用于訓(xùn)練人工智能的數(shù)據(jù)集包含數(shù)千甚至數(shù)百萬個數(shù)據(jù)點(diǎn)，具體取決于特定模型的目標(biāo)。通常，標(biāo)記這些數(shù)據(jù)集可能是進(jìn)行這些實(shí)驗(yàn)中最耗時(shí)的部分。

南洋理工大學(xué)團(tuán)隊(duì)構(gòu)建了“MaskFi”以克服這一挑戰(zhàn)，使用“無監(jiān)督學(xué)習(xí)”方法構(gòu)建了人工智能模型。

在無監(jiān)督學(xué)習(xí)范式中，人工智能模型在較小的數(shù)據(jù)集上進(jìn)行預(yù)訓(xùn)練，然后進(jìn)行迭代，直到能夠以令人滿意的準(zhǔn)確度預(yù)測輸出狀態(tài)。這使得研究人員能將精力集中在模型本身上，而不是花費(fèi)大量精力來構(gòu)建強(qiáng)大的訓(xùn)練數(shù)據(jù)集。

研究人員表示，MaskFi系統(tǒng)在兩個相關(guān)基準(zhǔn)測試中的準(zhǔn)確率約為97%。這表明該系統(tǒng)通過未來的發(fā)展可以成為一種全新的元宇宙模式的催化劑：一個可以實(shí)時(shí)提供1:1真實(shí)世界表示的元宇宙。