據(jù)外媒New Atlas報道，增強現(xiàn)實技術(shù)已經(jīng)可以讓人們在購買前將家具擺放在房間里，將照片拍得栩栩如生，并在街頭進行游戲?，F(xiàn)在，增強現(xiàn)實技術(shù)可以讓一個栩栩如生的虛擬人物在人們的前廳表演一首歡快版的貝多芬經(jīng)典作品。

The Piano Guys與AR/VR開發(fā)商Massive Technologies合作，讓樂隊的Jon Schmidt“坐在”人們家里的鋼琴前或虛擬的鋼琴前。

Massive Technologies已經(jīng)生成了一個逼真的Schmidt頭像，可以 “以完全的視覺和音樂精度 ”進行表演。智能手機或平板電腦用戶只需啟動AR Pianist iOS/Android應(yīng)用，將設(shè)備的后置攝像頭對準任何一架鋼琴，應(yīng)用就會將Schmidt放在鍵盤前。

該應(yīng)用利用機器學(xué)習(xí)將虛擬演奏家放置在鋼琴旁，精確度在一厘米之內(nèi)，設(shè)備持有者可以在空間內(nèi)移動6個自由度，從任何角度觀看他的演奏。如果用戶想用這種體驗向大師學(xué)習(xí)，播放速度可以放慢100倍。

彈奏時突出音符的樂譜也會在應(yīng)用中滾動，以幫助學(xué)習(xí)，還有一個視圖會在屏幕上亮起并對琴鍵進行顏色編碼，讓學(xué)生在自己的鋼琴上 “與Jon一起演奏”。這款應(yīng)用可以利用移動設(shè)備的麥克風(fēng)聽出音調(diào)的差異，并能提供實時反饋。

當(dāng)然，現(xiàn)實世界中鋼琴的琴鍵不會移動，樂器也會保持靜音，但在屏幕上，彈奏區(qū)域會栩栩如生，移動設(shè)備的揚聲器也會響起個人在家音樂會的音符。也就是說，如果用戶有一臺配備MIDI的原聲鋼琴或數(shù)碼鋼琴，這款應(yīng)用可以無線觸發(fā)音符在家中鋼琴上發(fā)出聲音。

“任何88鍵的鍵盤樂器，無論是原聲的還是數(shù)字的，都可以工作，但如果一個人根本沒有鋼琴，這也不是什么障礙，”視頻制作經(jīng)理和The Piano Guys的官方 “技術(shù)人員”Craig Knudsen解釋說。“在這種情況下，AR Pianist將識別一個清晰的地板空間或桌面，并提供一個詳細的雅馬哈C7 Neo音樂會三角琴的3D模型，在The Piano Guys的許多唱片和專輯封面上都有體現(xiàn)。”

The Piano Guys為他們在AR Pianist上的首次亮相所選擇的曲目來自他們的最新專輯《10》–其中包括一首貝多芬《致愛麗絲》的改編版，正好趕上這位古典作曲家下個月的250歲生日。這款應(yīng)用還包括一個不斷增長的由世界級演奏家演奏的曲庫，但只有《致愛麗絲》的特色是Jon Schmidt的動作捕捉3D頭像。其他的則是一個普通演奏家的頭像。

據(jù)報道，該應(yīng)用兼容過去幾年發(fā)布的大多數(shù)智能手機和平板電腦，但那些包裝激光雷達技術(shù)的設(shè)備，如iPhone 12，或ToF傳感器，如三星Galaxy S20，將有一個改進的體驗。

AR Pianist應(yīng)用是免費下載的，但需要每周支付2.99美元或每年59.99美元的訂閱費，就可以無限次使用所有歌曲和高級功能。該應(yīng)用的未來計劃包括一個完整的AR/VR版本，將與Oculus Quest等頭顯配合使用。