站長(zhǎng)之家（ChinaZ.com）7月18日 消息:xTuring 是一個(gè)開(kāi)源工具，可以讓用戶只用三行代碼就能創(chuàng)建自己的大語(yǔ)言模型 （LLMs）。

據(jù)了解，xTuring由 Stochastic 團(tuán)隊(duì)開(kāi)發(fā)，旨在優(yōu)化和加速人工智能大語(yǔ)言模型。Stochastic 擁有一支由聰明的機(jī)器學(xué)習(xí)工程師、博士后和哈佛大學(xué)研究生組成的團(tuán)隊(duì)，專注于優(yōu)化和加速法學(xué)碩士的人工智能。

自動(dòng)文本傳輸、聊天機(jī)器人、語(yǔ)言翻譯和內(nèi)容制作等應(yīng)用程序是人們努力利用這些概念開(kāi)發(fā)和創(chuàng)建新應(yīng)用程序的領(lǐng)域。訓(xùn)練和微調(diào)這些模型可能既耗時(shí)又昂貴。無(wú)論是使用 LLaMA、GPT-J、GPT-2還是其他方法，xTuring 都可以輕松快速地進(jìn)行模型優(yōu)化。

xTuring 可以適應(yīng)不同的硬件配置，通過(guò)內(nèi)存高效的微調(diào)技術(shù) LoRA，加快學(xué)習(xí)過(guò)程，降低硬件成本。據(jù)稱，xTuring 使用 LoRA 等內(nèi)存高效微調(diào)技術(shù)來(lái)加速學(xué)習(xí)過(guò)程，并將硬件支出減少多達(dá)90%。通過(guò)減少微調(diào)所需的內(nèi)存量，LoRA 有助于更快速、更有效的模型訓(xùn)練。

與其他微調(diào)技術(shù)相比，xTuring 在 LLaMA7B 模型的微調(diào)能力上取得了出色的結(jié)果。LLaMA7B 模型被用作 xTuring 微調(diào)能力的基準(zhǔn)，團(tuán)隊(duì)將 xTuring 與其他微調(diào)技術(shù)進(jìn)行了比較。數(shù)據(jù)集由52K token組成，測(cè)試中使用了335GB CPU 內(nèi)存和4xA100GPU。

結(jié)果表明，使用 DeepSpeed + CPU 卸載對(duì) LLaMA7B 模型進(jìn)行每個(gè) epoch21小時(shí)的訓(xùn)練消耗了33.5GB GPU 和190GB CPU。在使用 LoRA + DeepSpeed 或 LoRA + DeepSpeed + CPU 卸載進(jìn)行微調(diào)時(shí)，GPU 上的內(nèi)存使用量分別急劇下降至23.7GB 和21.9GB。CPU 使用的 RAM 量從14.9GB 下降到10.2GB。此外，使用 LoRA + DeepSpeed 或 LoRA + DeepSpeed + CPU 卸載時(shí)，訓(xùn)練時(shí)間從每個(gè) epoch40分鐘減少到20分鐘。

操作方面，用戶可以通過(guò)簡(jiǎn)單的鼠標(biāo)點(diǎn)擊來(lái)微調(diào)模型，并且 xTuring 的用戶界面非常簡(jiǎn)單易用。該團(tuán)隊(duì)表示，xTuring 是調(diào)整大型語(yǔ)言模型的不錯(cuò)選擇，因?yàn)樗С謫蝹€(gè)和多個(gè) GPU 訓(xùn)練，使用內(nèi)存高效的方法，并具有直觀的界面。

項(xiàng)目網(wǎng)址:https://github.com/stochasticai/xTuring

https://xturing.stochastic.ai/

（舉報(bào)）