文章概要:

- “FreeMan”是一份大規(guī)模多視角數(shù)據(jù)集，旨在解決現(xiàn)有3D人體姿態(tài)估計數(shù)據(jù)集的局限性。

- 數(shù)據(jù)集包含來自8臺同步智能手機的1100萬幀，跨足了室內(nèi)和室外環(huán)境，具備不同光照條件，提供了更真實的場景多樣性。

- 研究者通過自動化的標(biāo)注流程，包括人體檢測、2D關(guān)鍵點檢測、3D姿態(tài)估計和網(wǎng)格標(biāo)注，生成了精確的3D標(biāo)注，可用于多種任務(wù)，如單2D到3D轉(zhuǎn)換、多視角3D估計和神經(jīng)渲染。

站長之家（ChinaZ.com）9月25日 消息:從真實場景中估計人體的三維結(jié)構(gòu)是一項具有挑戰(zhàn)性的任務(wù)，對于人工智能、圖形學(xué)和人機交互等領(lǐng)域具有重要意義。然而，現(xiàn)有的3D人體姿態(tài)估計數(shù)據(jù)集通常在受控條件下收集，具有靜態(tài)背景，無法代表真實世界場景的多樣性，從而限制了用于真實應(yīng)用的準(zhǔn)確模型的開發(fā)。

在這方面，類似于Human3.6M和HuMMan的現(xiàn)有數(shù)據(jù)集廣泛用于3D人體姿態(tài)估計，但它們是在受控的實驗室環(huán)境中收集的，無法充分捕捉真實世界環(huán)境的復(fù)雜性。這些數(shù)據(jù)集在場景多樣性、人體動作和可擴展性方面存在局限。研究人員提出了各種模型用于3D人體姿態(tài)估計，但由于現(xiàn)有數(shù)據(jù)集的局限性，它們的效果通常在應(yīng)用于真實場景時受到阻礙。

中國的一支研究團隊推出了“FreeMan”，這個由來自香港中文大學(xué)（深圳）和騰訊等機構(gòu)的團隊共同合作開發(fā)的項目，被譽為革新性的多視角數(shù)據(jù)集，旨在為3D人體姿勢估計領(lǐng)域帶來新的突破。

FreeMan是一個新穎的大規(guī)模多視角數(shù)據(jù)集，旨在解決現(xiàn)有數(shù)據(jù)集在真實場景中3D人體姿態(tài)估計方面的局限性。FreeMan是一項重要的貢獻，旨在促進更準(zhǔn)確和穩(wěn)健模型的開發(fā)。

FreeMan項目的特點之一是其數(shù)據(jù)集的規(guī)模和多樣性。該數(shù)據(jù)集由8部智能手機在不同場景下的同步錄制組成，包括10個不同場景、27個真實場地，總計包含了超過1100萬幀的視頻。每個場景都涵蓋了不同的照明條件，使得這個數(shù)據(jù)集成為一個獨一無二的資源。

FreeMan數(shù)據(jù)集的開源是為了促進大規(guī)模預(yù)訓(xùn)練數(shù)據(jù)集的發(fā)展，同時也為戶外3D人體姿勢估計提供了全新的基準(zhǔn)。這一數(shù)據(jù)集不僅包括視頻，還提供了豐富的注解信息，包括2D和3D人體關(guān)鍵點、SMPL參數(shù)、邊界框等，為研究人員提供了豐富的資源以推動相關(guān)領(lǐng)域的研究。

值得注意的是，F(xiàn)reeMan引入了相機參數(shù)和人體尺度的變化，使其更具代表性。研究團隊開發(fā)了自動化的標(biāo)注流程，以從收集的數(shù)據(jù)中高效生成精確的3D標(biāo)注。這一流程包括人體檢測、2D關(guān)鍵點檢測、3D姿態(tài)估計和網(wǎng)格標(biāo)注。由此產(chǎn)生的數(shù)據(jù)集對于多種任務(wù)都非常有價值，包括單目3D估計、2D到3D轉(zhuǎn)換、多視角3D估計和人體主體的神經(jīng)渲染。

研究人員提供了對FreeMan進行各種任務(wù)的全面評估基線。他們將在FreeMan上訓(xùn)練的模型與在Human3.6M和HuMMan上訓(xùn)練的模型的性能進行了比較。值得注意的是，在3DPW數(shù)據(jù)集上測試時，訓(xùn)練在FreeMan上的模型表現(xiàn)出顯著更好的性能，突顯了FreeMan在真實場景中的卓越泛化能力。

在多視角3D人體姿態(tài)估計實驗中，與在Human3.6M上訓(xùn)練的模型相比，在跨領(lǐng)域數(shù)據(jù)集上測試時，訓(xùn)練在FreeMan上的模型表現(xiàn)出更好的泛化能力。結(jié)果一致顯示了FreeMan多樣性和規(guī)模的優(yōu)勢。

在2D到3D姿態(tài)轉(zhuǎn)換實驗中，F(xiàn)reeMan的挑戰(zhàn)顯而易見，因為在這個數(shù)據(jù)集上訓(xùn)練的模型面臨更大的難度。然而，當(dāng)模型在整個FreeMan訓(xùn)練集上進行訓(xùn)練時，其性能得到改善，顯示出該數(shù)據(jù)集提高模型性能的潛力。

FreeMan的可用性預(yù)計將推動人體建模、計算機視覺和人機交互領(lǐng)域的進步，彌合了受控實驗室條件與真實場景之間的差距。

項目網(wǎng)址:https://wangjiongw.github.io/freeman/

（舉報）