The Piano Guys與AR/VR開發(fā)商Massive Technologies合作，讓樂隊的Jon Schmidt“坐在”人們家里的鋼琴前或虛擬的鋼琴前。

Massive Technologies已經(jīng)生成了一個逼真的Schmidt頭像，可以 “以完全的視覺和音樂精度 ”進(jìn)行表演。智能手機(jī)或平板電腦用戶只需啟動AR Pianist iOS/Android應(yīng)用，將設(shè)備的后置攝像頭對準(zhǔn)任何一架鋼琴，應(yīng)用就會將Schmidt放在鍵盤前。

該應(yīng)用利用機(jī)器學(xué)習(xí)將虛擬演奏家放置在鋼琴旁，精確度在一厘米之內(nèi)，設(shè)備持有者可以在空間內(nèi)移動6個自由度，從任何角度觀看他的演奏。如果用戶想用這種體驗向大師學(xué)習(xí)，播放速度可以放慢100倍。

彈奏時突出音符的樂譜也會在應(yīng)用中滾動，以幫助學(xué)習(xí)，還有一個視圖會在屏幕上亮起并對琴鍵進(jìn)行顏色編碼，讓學(xué)生在自己的鋼琴上 “與Jon一起演奏”。這款應(yīng)用可以利用移動設(shè)備的麥克風(fēng)聽出音調(diào)的差異，并能提供實時反饋。

當(dāng)然，現(xiàn)實世界中鋼琴的琴鍵不會移動，樂器也會保持靜音，但在屏幕上，彈奏區(qū)域會栩栩如生，移動設(shè)備的揚聲器也會響起個人在家音樂會的音符。也就是說，如果用戶有一臺配備MIDI的原聲鋼琴或數(shù)碼鋼琴，這款應(yīng)用可以無線觸發(fā)音符在家中鋼琴上發(fā)出聲音。

“任何88鍵的鍵盤樂器，無論是原聲的還是數(shù)字的，都可以工作，但如果一個人根本沒有鋼琴，這也不是什么障礙，”視頻制作經(jīng)理和The Piano Guys的官方 “技術(shù)人員”Craig Knudsen解釋說。“在這種情況下，AR Pianist將識別一個清晰的地板空間或桌面，并提供一個詳細(xì)的雅馬哈C7 Neo音樂會三角琴的3D模型，在The Piano Guys的許多唱片和專輯封面上都有體現(xiàn)。”

The Piano Guys為他們在AR Pianist上的首次亮相所選擇的曲目來自他們的最新專輯《10》–其中包括一首貝多芬《致愛麗絲》的改編版，正好趕上這位古典作曲家下個月的250歲生日。這款應(yīng)用還包括一個不斷增長的由世界級演奏家演奏的曲庫，但只有《致愛麗絲》的特色是Jon Schmidt的動作捕捉3D頭像。其他的則是一個普通演奏家的頭像。

據(jù)報道，該應(yīng)用兼容過去幾年發(fā)布的大多數(shù)智能手機(jī)和平板電腦，但那些包裝激光雷達(dá)技術(shù)的設(shè)備，如iPhone 12，或ToF傳感器，如三星Galaxy S20，將有一個改進(jìn)的體驗。

AR Pianist應(yīng)用是免費下載的，但需要每周支付2.99美元或每年59.99美元的訂閱費，就可以無限次使用所有歌曲和高級功能。該應(yīng)用的未來計劃包括一個完整的AR/VR版本，將與Oculus Quest等頭顯配合使用。