英偉達推出的一項新控制服務(wù)可以讓開發(fā)者從事涉及人形機器人的項目，并使用Apple Vision Pro進行控制和監(jiān)控。

開發(fā)人形機器人面臨諸多挑戰(zhàn)，其中之一就是控制高科技設(shè)備。為了幫助解決這一問題，英偉達提供了許多用于機器人模擬的工具，其中包括一些輔助控制的工具。

英偉達向各大機器人制造商和軟件開發(fā)商提供的這套模型和平臺旨在幫助訓(xùn)練新一代人形機器人。

該工具集合包括英偉達所稱的NIM微服務(wù)和框架，用于模擬和學(xué)習(xí)。此外還有英偉達OSMO 編排服務(wù)，用于處理多階段機器人工作負載以及支持AI和模擬的遠程操作工作流程。

作為工作流程的一部分，頭顯和空間計算設(shè)備（如Vision Pro）不僅可以用來查看數(shù)據(jù)，還可以控制硬件。

英偉達首席執(zhí)行官兼創(chuàng)始人黃仁勛表示：“人工智能的下一波浪潮是機器人技術(shù)，而人形機器人是其中最令人興奮的發(fā)展之一。我們正在推進整個英偉達機器人技術(shù)堆棧，為全球人形機器人開發(fā)人員和公司開放訪問權(quán)限，以采用最適合需求的平臺、加速庫和人工智能模型?！?/p>

NIM微服務(wù)是使用英偉達推理軟件的預(yù)構(gòu)建容器，旨在縮短部署時間。其中兩個微服務(wù)旨在幫助開發(fā)者在參考應(yīng)用程序英偉達Isaac SIM中實現(xiàn)生成式物理AI的模擬工作流程。

其中一個是MimicGen NIM微服務(wù)，主要用于幫助用戶使用Vision Pro或其他空間計算設(shè)備控制硬件。其根據(jù)“記錄的遙控數(shù)據(jù)”為機器人生成合成運動數(shù)據(jù)，即將Vision Pro的動作轉(zhuǎn)換為機器人的動作。

視頻和圖像顯示，這不僅僅是根據(jù)頭顯移動來移動攝像頭。據(jù)顯示，基于Vision Pro的傳感器，手部動作和手勢也會被記錄和使用。

實際上，用戶可以使用Vision Pro觀察機器人的動作并直接控制手和手臂。

雖然此類人形機器人可以嘗試準確模仿手勢，但英偉達等系統(tǒng)可以推斷用戶想要做什么。由于用戶無法感知機器人所持物品的觸覺反饋，因此直接模仿手部動作可能過于危險。

Siggraph上展示的另一種遠程操作工作流程也允許開發(fā)者創(chuàng)建大量運動和感知數(shù)據(jù)，所有這些都是通過人類遠程捕獲的少量演示創(chuàng)建的。

在這些演示中，我們使用Vision Pro來捕捉人手的動作，然后使用MimicGen NIM微服務(wù)和英偉達Isaac Sim來模擬記錄，從而生成合成數(shù)據(jù)集。

隨后，開發(fā)人員使用真實數(shù)據(jù)和合成數(shù)據(jù)的組合來訓(xùn)練Project Groot人形模型，這一過程被認為有助于首先減少創(chuàng)建數(shù)據(jù)的成本和時間。

機器人平臺制造商Fourier首席執(zhí)行官Alex Gu表示：“開發(fā)人形機器人極其復(fù)雜——需要大量真實數(shù)據(jù)，這些數(shù)據(jù)都是從現(xiàn)實世界中精心獲取的。英偉達的新模擬和生成AI開發(fā)工具將有助于引導(dǎo)和加速我們的模型開發(fā)工作流程?！?/p>

微服務(wù)以及模型訪問、OSMO管理機器人服務(wù)和其他框架均由英偉達人形機器人開發(fā)者計劃提供，該公司僅向人形軟件、硬件或機器人制造商提供訪問權(quán)限。