**劃重點:**

1. ?? HiFi4G實現(xiàn)了從密集視頻中重新創(chuàng)建高保真4D人體表演的全顯式和緊湊方法。

2. ?? HiFi4G在優(yōu)化速度、渲染質(zhì)量和存儲開銷方面明顯優(yōu)于當(dāng)前的隱式渲染技術(shù)。

3. ?? 研究團隊提供了一種壓縮方法，使HiFi4G在每幀不到2MB的存儲空間下，以約25倍的壓縮率，可在各種設(shè)備上實現(xiàn)沉浸式觀看人體表演。

站長之家（ChinaZ.com）12月13日 消息:近日，上海科技大學(xué)、NeuDim、字節(jié)跳動和DGene的研究團隊共同發(fā)布了一篇名為《HiFi4G:人體建模和高效渲染的突破性進展》的AI論文。該論文介紹了HiFi4G，這是一種全新的、全顯式且緊湊的高斯方法，用于從密集視頻中重新創(chuàng)建高保真的4D人體表演。

這項研究的主要亮點在于，HiFi4G通過將非剛性跟蹤與3D高斯表達(dá)相結(jié)合，成功分離了運動和外觀數(shù)據(jù)，從而實現(xiàn)了緊湊且壓縮友好的表達(dá)。相較于當(dāng)前的隱式渲染技術(shù)，HiFi4G在優(yōu)化速度、渲染質(zhì)量和存儲開銷方面取得了明顯的改進。

具體而言，研究團隊首先提出了一種雙圖方法，包括細(xì)粒度高斯和粗略變形圖，以自然地將高斯表示與非剛性跟蹤連接起來。通過使用NeuS2創(chuàng)建每幀幾何代理，并以關(guān)鍵幀的方式使用嵌入式變形（ED），這一顯式跟蹤技術(shù)將序列劃分為部分，為每個部分內(nèi)的運動提供了豐富的歷史信息。

接下來，研究團隊為進一步初始化構(gòu)建了一個細(xì)粒度高斯圖，通過從粗略ED網(wǎng)絡(luò)中插值每個高斯運動。為了平衡高斯特征和非剛性運動先驗的更新，研究團隊提出了一種4D高斯優(yōu)化方法。他們使用時間正則化器確保每個高斯的外觀屬性的一致性，如不透明度、縮放系數(shù)和球諧（SH）。對于運動特征(位置和旋轉(zhuǎn))，研究團隊建議使用平滑項，以在相鄰高斯之間生成局部盡可能剛性的運動。

為了應(yīng)對在表現(xiàn)小而非剛性運動的區(qū)域出現(xiàn)的顫動現(xiàn)象，研究團隊為這些正則化器添加了自適應(yīng)加權(quán)機制。經(jīng)過優(yōu)化，研究團隊生成了時空緊湊的4D高斯。為了使HiFi4G對用戶更加實用，研究團隊提出了一種伴隨的壓縮技術(shù)，采用傳統(tǒng)的殘差校正、量化和熵編碼，以適應(yīng)各種平臺上的低存儲沉浸式人體表演體驗。

HiFi4G作為一種用于高保真人體表現(xiàn)渲染的方法，具有以下特色功能:

• 緊湊的高斯噴濺表示法: HiFi4G采用3D高斯表達(dá)與非剛性跟蹤相結(jié)合，實現(xiàn)了緊湊且壓縮友好的表示。這種方法通過采用雙圖機制，包括粗糙變形圖和細(xì)粒度高斯圖，來獲得運動的先驗知識。

• 雙圖機制: 引入了雙圖機制，其中包括一個用于有效初始化的粗糙變形圖和一個用于強制約束的細(xì)粒度高斯圖，以實現(xiàn)對非剛性運動的建模。

• 4D高斯優(yōu)化方案: 采用了4D高斯優(yōu)化方案，其中包括自適應(yīng)的時空正則化器，以有效平衡非剛性先驗和高斯更新，實現(xiàn)高質(zhì)量的人體表現(xiàn)渲染。

• 伴隨的壓縮方案: 提出了一個伴隨的壓縮方案，包括殘差補償，可在各種平臺上實現(xiàn)沉浸式體驗。該方案實現(xiàn)了約25倍的壓縮率，每幀不到2MB的存儲開銷。

• 關(guān)鍵幀非剛性跟蹤: 通過基于關(guān)鍵幀的非剛性跟蹤，建立了一個粗糙變形圖，并跟蹤了高斯優(yōu)化的運動，為后續(xù)渲染提供支持。

• 實時高保真渲染: HiFi4G能夠在實時性要求下，對具有挑戰(zhàn)性動作的人體表現(xiàn)進行高保真渲染，例如演奏樂器、跳舞和更衣等。

渲染結(jié)果:HiFi4G 可實時高保真地渲染人類在演奏樂器、跳舞和換衣服等具有挑戰(zhàn)性的動作中的表現(xiàn)。

在應(yīng)用場景上，HiFi4G可以用于電影、電視劇和游戲制作，實現(xiàn)更逼真、高保真的人物表現(xiàn)渲染。特別是在需要展現(xiàn)復(fù)雜人體動作，如演奏樂器、跳舞和更衣等情境下，可以提供更真實的畫面效果。另外，由于HiFi4G能夠?qū)崿F(xiàn)實時高保真渲染，它在虛擬現(xiàn)實和增強現(xiàn)實應(yīng)用中也具備廣泛的應(yīng)用前景。用戶在虛擬環(huán)境中進行各種活動時，可以獲得更具沉浸感的體驗。

項目網(wǎng)址:https://nowheretrix.github.io/HiFi4G/

論文網(wǎng)址:https://arxiv.org/abs/2312.03461

（舉報）