銀河通用機(jī)器人攜手清華大學(xué)發(fā)布了全開源、多機(jī)型、跨虛實(shí)的人形機(jī)器人全身遙操作系統(tǒng)——OpenWBT。即便是新手，也能在小時(shí)內(nèi)從零完成部署，并以接近日常人類工作空間的方式，高效采集人形機(jī)器人全空間操作數(shù)據(jù)，為打造具備操作智能的人形機(jī)器人提供堅(jiān)實(shí)的數(shù)據(jù)支撐。

傳統(tǒng)遙操作往往僅依賴上半身控制，而OpenWBT通過全身運(yùn)動(dòng)控制，讓機(jī)器人實(shí)現(xiàn)移動(dòng)、碰高、摸低等多種能力。只需要一款VR頭顯，就可以遙控多種機(jī)器人，使其像人類一樣彎腰拾起地上的物品，或伸手擦拭高處的窗臺(tái)。只需要一副VR頭顯、一臺(tái)筆記本電腦，新手也可以在小時(shí)內(nèi)從零完成系統(tǒng)的快速部署。不受場(chǎng)地限制、無需復(fù)雜的設(shè)備校準(zhǔn)與穿戴，躺在家里床上，也可以遙控千里之外的機(jī)器人。

OpenWBT不僅兼容29自由度的Unitree G1，還支持擁有成人身高的Unitree H1，可輕松覆蓋成年人完整的工作空間，成為對(duì)人類勞動(dòng)力的有力補(bǔ)充。OpenWBT同時(shí)支持在真實(shí)世界和仿真環(huán)境中進(jìn)行遙操作。在真實(shí)世界中遙操作，可避免感知與控制的域偏差，直接獲得高質(zhì)量機(jī)器人數(shù)據(jù)；在仿真環(huán)境中遙操作，無需搭建物理場(chǎng)景，便于快速采集和大規(guī)模數(shù)據(jù)增強(qiáng)，提高樣本效率，并為后續(xù)模型的泛化能力奠定基礎(chǔ)。

讓機(jī)器人如此穩(wěn)定在超大工作空間運(yùn)動(dòng)的秘訣來自于最近銀河通用機(jī)器人和清華大學(xué)研究團(tuán)隊(duì)聯(lián)合推出的一項(xiàng)工作：Unleashing Humanoid Reaching Potential via Real-world-Ready Skill Space。其旨在解決基于仿真強(qiáng)化學(xué)習(xí)的人形機(jī)器人全身控制中仿真到真實(shí)（sim2real）遷移這一難題。將仿真中的人形機(jī)器人技能遷移到真實(shí)世界極具挑戰(zhàn)性，尤其是當(dāng)機(jī)器人需要完成走路、下蹲、彎腰、手臂自由揮動(dòng)等多種動(dòng)作時(shí)，傳統(tǒng)方法往往難以應(yīng)對(duì)這一多樣性，而提出了一種分層式的新穎框架來解決這一問題。

首先將運(yùn)動(dòng)分為若干原子技能（如走、蹲、前傾等），針對(duì)每種原子技能設(shè)計(jì)專門的獎(jiǎng)勵(lì)函數(shù)與訓(xùn)練策略，使其可以穩(wěn)定遷移到真實(shí)世界中。因此，進(jìn)一步通過強(qiáng)化學(xué)習(xí)對(duì)原子技能的組合與銜接進(jìn)行優(yōu)化，并利并用條件變分自編碼器對(duì)包括原子技能及其組合銜接在內(nèi)的各種底層控制進(jìn)行統(tǒng)一生成式建模，我們將該生成空間命名為Real-world-Ready Skill Space。依據(jù)高層級(jí)任務(wù)需求，我們可以從該空間中選取特定的技能與組合，進(jìn)而實(shí)現(xiàn)穩(wěn)定的全身控制。把復(fù)雜的多技能sim2real問題拆分成可解決的單技能sim2real問題，再利用層次結(jié)構(gòu)與生成式建模把技能整合起來，仿真到真實(shí)（sim2real）遷移難題就不再可怕。

具體來講，該工作的技術(shù)核心包括以下三點(diǎn)：讓機(jī)器人學(xué)會(huì)一種skill很難，讓機(jī)器人學(xué)會(huì)多種skills更難，讓機(jī)器人能夠?qū)W(xué)會(huì)的多種skills進(jìn)行穩(wěn)定的sim2real transfer更是難上加難。一般的端到端強(qiáng)化學(xué)習(xí)受限于優(yōu)化難度和sim2real transfer穩(wěn)定性，很難同時(shí)學(xué)會(huì)多種可在真實(shí)世界穩(wěn)定運(yùn)行的技能。

因此，本文提出首先通過基于啟發(fā)式獎(jiǎng)勵(lì)函數(shù)的強(qiáng)化學(xué)習(xí)構(gòu)建一個(gè)“真實(shí)世界穩(wěn)定”的原子技能庫(kù)。從功能性上設(shè)計(jì)出不同的原子技能，每個(gè)技能由專屬的獎(jiǎng)勵(lì)函數(shù)訓(xùn)練，并通過sim2realtransfer驗(yàn)證其在真實(shí)世界中的穩(wěn)定性。該工作將機(jī)器人的全身控制拆分為了三種不同的原子技能：locomotion，body-pose-adjustment和hand reaching。Locomotion負(fù)責(zé)讓機(jī)器人健步如飛，body-pose-adjustment支持機(jī)器人像人一樣彎腰下蹲，hand-reaching使得機(jī)器人雙手可以精確觸達(dá)目標(biāo)點(diǎn)。

針對(duì)body-pose-adjustment，該工作鼓勵(lì)在運(yùn)動(dòng)學(xué)和動(dòng)力學(xué)上的對(duì)稱性來實(shí)現(xiàn)穩(wěn)定的機(jī)器人動(dòng)作控制：分開訓(xùn)練雖然大大保證了原子技能在真實(shí)世界的表現(xiàn)，但是卻不足以支撐真正的機(jī)器人全身控制，因?yàn)檫@需要機(jī)器人能夠在不同技能之間協(xié)同、切換。使得機(jī)器人能夠同時(shí)掌握多種技能，并將其編碼到一個(gè)技能隱空間當(dāng)中，并通過KL散度和約束函數(shù)使得其空間更具結(jié)構(gòu)性：執(zhí)行時(shí)，policy只需要從隱空間解碼，便可得到真實(shí)的關(guān)節(jié)力矩，在保留原子技能的真實(shí)世界穩(wěn)定性的基礎(chǔ)之上，實(shí)現(xiàn)原子技能之間的穩(wěn)定組合與銜接，大幅擴(kuò)展機(jī)器人的運(yùn)動(dòng)空間。