站長之家(ChinaZ.com)12月5日 消息:從今天起,在社交平臺上看到的小姐姐舞蹈短視頻很可能就是AI生成的。字節(jié)跳動新開源基于SD1.5的MagicAnimate,它只需要一張照片和一組動作,就能生成近似真人的舞蹈視頻。
MagicAnimate是一項利用先進的擴散模型實現(xiàn)人體圖像動畫的創(chuàng)新性項目。其核心優(yōu)勢在于確保生成內(nèi)容的時間一致性,通過提供預訓練的穩(wěn)定擴散V1.5和MSE微調(diào)的VAE基礎模型,使用戶能夠輕松入門。
使用MagicAnimate只需要一張照片和一組動作。用戶可以選擇一張喜歡的小姐姐的照片,然后通過輸入一組動作,讓AI根據(jù)這些信息生成一個舞蹈視頻。這個舞蹈視頻看起來非常逼真,幾乎可以讓人誤以為是真實人物在跳舞。
為使用MagicAnimate,用戶需下載穩(wěn)定擴散V1.5和MSE微調(diào)的VAE預訓練基模型,并按照提供的結(jié)構組織檢查點。安裝簡便,僅需Python(3.8以上版本)、CUDA(11.3以上版本)和FFmpeg??赏ㄟ^conda或pip安裝依賴項。
推理過程:
MagicAnimate提供了用戶友好的推理過程。用戶可通過提供的bash腳本在單個GPU上運行推理,或使用另一個腳本在多個GPU上運行,以優(yōu)化性能。這種簡便的推理方式確保了從初學者到經(jīng)驗豐富的研究人員的廣泛可訪問性。
(舉報)