劃重點(diǎn):

1. ?? **框架介紹**:H2O（Human to Humanoid）是基于強(qiáng)化學(xué)習(xí)的框架，通過(guò)僅使用RGB攝像頭實(shí)現(xiàn)了全尺寸人形機(jī)器人的實(shí)時(shí)全身遙控操作。

2. ?? **數(shù)據(jù)處理過(guò)程**:采用可擴(kuò)展的“從模擬到實(shí)際”處理，通過(guò)特權(quán)模仿者篩選和選擇可行的動(dòng)作，構(gòu)建了大規(guī)模的重定目標(biāo)運(yùn)動(dòng)數(shù)據(jù)集。

3. ?? **實(shí)時(shí)遙操作實(shí)現(xiàn)**:在模擬環(huán)境中使用經(jīng)過(guò)精煉的動(dòng)作訓(xùn)練了魯棒的全身機(jī)器人模仿者，并以零次試驗(yàn)方式將其轉(zhuǎn)移到實(shí)際機(jī)器人，成功實(shí)現(xiàn)了在真實(shí)場(chǎng)景中的動(dòng)態(tài)全身運(yùn)動(dòng)遙操作。

站長(zhǎng)之家（ChinaZ.com）3月11日 消息:在最新的研究中，由卡內(nèi)基梅隆大學(xué)的研究團(tuán)隊(duì)開(kāi)發(fā)，提出了一種名為H2O（Human to Humanoid）的框架，通過(guò)強(qiáng)化學(xué)習(xí)實(shí)現(xiàn)了人對(duì)人形機(jī)器人的實(shí)時(shí)全身遙控操作。

該框架在僅使用RGB攝像頭的條件下，成功地讓人形機(jī)器人模仿并實(shí)時(shí)執(zhí)行各種動(dòng)態(tài)的全身運(yùn)動(dòng)，包括行走、后空翻、踢球、轉(zhuǎn)身、揮手、推動(dòng)、拳擊等。

為了實(shí)現(xiàn)這一突破性的技術(shù)，研究團(tuán)隊(duì)提出了一種可擴(kuò)展的“從模擬到實(shí)際”的處理過(guò)程，以構(gòu)建大規(guī)模的人類(lèi)運(yùn)動(dòng)數(shù)據(jù)集，為人形機(jī)器人提供實(shí)時(shí)遙操作的訓(xùn)練樣本。在處理過(guò)程中，通過(guò)特權(quán)模仿者篩選和選擇可行的動(dòng)作，優(yōu)化了人形機(jī)器人的身體模型，確保其對(duì)人類(lèi)運(yùn)動(dòng)的高度還原性。

框架的核心包括三個(gè)關(guān)鍵階段:首先，通過(guò)優(yōu)化形狀和運(yùn)動(dòng)參數(shù)，將SMPL（Skinned Multi-Person Linear model）身體模型與人形機(jī)器人的結(jié)構(gòu)對(duì)齊，形成基礎(chǔ)的運(yùn)動(dòng)數(shù)據(jù)集。其次，通過(guò)訓(xùn)練一個(gè)特權(quán)模仿策略，去除運(yùn)動(dòng)數(shù)據(jù)集中的異常和不可行的動(dòng)作，生成更加真實(shí)和清晰的運(yùn)動(dòng)數(shù)據(jù)集。最后，通過(guò)在模擬環(huán)境中訓(xùn)練一個(gè)實(shí)時(shí)模仿策略，實(shí)現(xiàn)對(duì)人形機(jī)器人的零次試驗(yàn)遙操作。

實(shí)時(shí)遙操作的過(guò)程涉及使用RGB攝像頭和姿勢(shì)估計(jì)器捕捉人類(lèi)運(yùn)動(dòng)，然后通過(guò)訓(xùn)練有素的模仿策略，使人形機(jī)器人能夠即時(shí)模仿并執(zhí)行這些運(yùn)動(dòng)。

這項(xiàng)研究不僅成功實(shí)現(xiàn)了全身運(yùn)動(dòng)的學(xué)習(xí)式實(shí)時(shí)遙操作，還展示了在真實(shí)世界情境中的應(yīng)用，如左右踢球、遞盒子、前行后跳、拳擊等。據(jù)了解，這是首次在人形機(jī)器人領(lǐng)域?qū)崿F(xiàn)了這一技術(shù)上的突破，為全新的人機(jī)交互和協(xié)作場(chǎng)景提供了有力的支持。

項(xiàng)目入口：https://top.aibase.com/tool/human-to-humanoid-h2o-

（舉報(bào)）