字節(jié)跳動近日宣布進(jìn)軍AI視頻生成領(lǐng)域，推出兩款面向企業(yè)市場的AI大模型：PixelDance和大模型Seaweed。
這些模型以其出色的語義理解能力和復(fù)雜的交互畫面的精準(zhǔn)捕捉而聞名。它們不僅可以理解并響應(yīng)復(fù)雜的指令，還能在不同鏡頭切換下保持內(nèi)容的一致性。
值得一提的是，這些模型得益于字節(jié)跳動自主研發(fā)的DiT（動態(tài)集成變壓器）架構(gòu)。DiT融合計算單元實現(xiàn)了視頻在大動態(tài)場景下的無縫切換，賦予其變焦、環(huán)繞、平搖、縮放和目標(biāo)跟隨等多鏡頭語言能力，為視頻創(chuàng)作提供了更大的自由度。
為了提升視頻的專業(yè)性和觀賞性，字節(jié)跳動采用了創(chuàng)新的擴(kuò)散模型訓(xùn)練方法。該方法解決了多鏡頭切換中保持主體、風(fēng)格和氛圍一致性的技術(shù)難題，確保了視頻在切換瞬間的和諧統(tǒng)一，為觀眾帶來身臨其境的體驗。
目前，PixelDance和大模型Seaweed已在即夢AI內(nèi)測版中進(jìn)行了小范圍測試，以收集用戶反饋并優(yōu)化產(chǎn)品性能。
（舉報）