劃重點(diǎn):

1. ?? 高質(zhì)量3D內(nèi)容合成是自動駕駛、機(jī)器人模擬、游戲、電影制作和未來虛擬/增強(qiáng)現(xiàn)實(shí)場景等多個(gè)應(yīng)用領(lǐng)域的關(guān)鍵問題。

2. ?? SceneTex采用深度到圖像擴(kuò)散先驗(yàn)，以在室內(nèi)場景網(wǎng)格中生成高質(zhì)量且風(fēng)格一致的紋理，克服了傳統(tǒng)方法中的多個(gè)問題。

3. ?? 研究團(tuán)隊(duì)使用多分辨率紋理和交叉注意力解碼器，實(shí)現(xiàn)了全局樣式一致性，提高了室內(nèi)場景的紋理生成質(zhì)量。

站長之家（ChinaZ.com）12月4日 消息:近日，慕尼黑工業(yè)大學(xué)和Snap Research的研究團(tuán)隊(duì)提出了一種名為SceneTex的全新AI方法，旨在解決室內(nèi)場景紋理生成中的挑戰(zhàn)，實(shí)現(xiàn)高質(zhì)量、風(fēng)格一致的3D內(nèi)容合成。

傳統(tǒng)上，盡管3D幾何建模取得了長足進(jìn)步，但創(chuàng)建物品外觀或紋理仍然需要大量人工勞動，尤其是使用諸如Blender等3D建模程序。由于對人工技能的高需求和相關(guān)成本，自主紋理設(shè)計(jì)和增強(qiáng)一直未能完全實(shí)現(xiàn)工業(yè)化。最新的2D擴(kuò)散模型在文本到3D創(chuàng)建中取得了進(jìn)展，但將其擴(kuò)展到整個(gè)場景的紋理生成仍然面臨一些困難。

SceneTex通過采用深度到圖像擴(kuò)散先驗(yàn)，將紋理創(chuàng)建定位為RGB空間中的紋理優(yōu)化挑戰(zhàn)，與現(xiàn)有技術(shù)不同，后者通常是將2D視圖反復(fù)映射到網(wǎng)格表面。研究團(tuán)隊(duì)引入了多分辨率紋理字段，以微妙地描繪網(wǎng)格外觀，并使用交叉注意力解碼器減少自遮擋引起的樣式不一致性。他們的設(shè)計(jì)能夠在低頻和高頻適應(yīng)性地學(xué)習(xí)外觀信息，通過全局引用確保每個(gè)模型內(nèi)部的全局樣式一致性。

在實(shí)際應(yīng)用中，每個(gè)解碼的RGB值通過與分布在每個(gè)對象上的預(yù)采樣參考表面位置進(jìn)行交叉引用而生成。通過為每個(gè)可見位置提供整個(gè)實(shí)例外觀的全局引用，研究團(tuán)隊(duì)進(jìn)一步確保了每個(gè)模型內(nèi)部的全局樣式一致性。SceneTex的研究團(tuán)隊(duì)通過對3DFRONT數(shù)據(jù)集的用戶研究表明，該技術(shù)在2D指標(biāo)（如CLIP和Inception得分）方面優(yōu)于其他基于文本的紋理創(chuàng)建算法。

SceneTex通過創(chuàng)新性地使用深度到圖像擴(kuò)散先驗(yàn)，提出多分辨率紋理和交叉注意力解碼器，成功實(shí)現(xiàn)了室內(nèi)場景的高質(zhì)量、風(fēng)格一致的紋理生成。研究團(tuán)隊(duì)的技術(shù)貢獻(xiàn)包括在高分辨率下生成高質(zhì)量場景紋理的獨(dú)特框架，通過多分辨率紋理準(zhǔn)確捕捉豐富的紋理特征，并使用交叉注意力紋理解碼器為3D-FRONT場景生成更具審美感和風(fēng)格一致性的紋理。詳細(xì)信息請查看論文、Github和項(xiàng)目。

該研究為未來實(shí)現(xiàn)更先進(jìn)的3D內(nèi)容生成和應(yīng)用提供了有力支持，為行業(yè)發(fā)展開辟了新的方向。

項(xiàng)目網(wǎng)址:https://daveredrum.github.io/SceneTex/

（舉報(bào)）