**劃重點(diǎn):**

1. ?? S-LoRA技術(shù)由斯坦福大學(xué)和加州大學(xué)伯克利分校的研究人員合作開發(fā)，可顯著降低LLM精細(xì)調(diào)整的成本，使企業(yè)能夠在單個(gè)GPU上運(yùn)行數(shù)百甚至數(shù)千個(gè)模型。

2. ?? S-LoRA通過動(dòng)態(tài)內(nèi)存管理系統(tǒng)和"Unified Paging"機(jī)制解決了部署多個(gè)LoRA模型時(shí)的技術(shù)挑戰(zhàn)，支持在單個(gè)GPU或多個(gè)GPU上服務(wù)多個(gè)LoRA適配器。

3. ?? 在評(píng)估中，S-LoRA相較于Hugging Face PEFT表現(xiàn)出色，提高了30倍的吞吐量，并成功同時(shí)服務(wù)了2，000個(gè)適配器，為個(gè)性化LLM服務(wù)在企業(yè)應(yīng)用中創(chuàng)造了可能。

站長(zhǎng)之家（ChinaZ.com）11月15日 消息:近日，研究人員在解決大型語(yǔ)言模型（LLM）精細(xì)調(diào)整的高成本和計(jì)算資源限制方面取得了重要突破。由斯坦福大學(xué)和加州大學(xué)伯克利分校的研究人員合作開發(fā)的S-LoRA技術(shù)，使得在單個(gè)圖形處理單元(GPU)上運(yùn)行數(shù)千個(gè)LLM模型成為現(xiàn)實(shí)。

通常，對(duì)LLM進(jìn)行精細(xì)調(diào)整是企業(yè)定制人工智能功能以適應(yīng)特定任務(wù)和個(gè)性化用戶體驗(yàn)的重要工具。然而，這一過程通常伴隨著巨大的計(jì)算和財(cái)務(wù)開銷，限制了中小型企業(yè)的應(yīng)用。為解決這一難題，研究人員提出了一系列算法和技術(shù)，其中S-LoRA技術(shù)成為最新的亮點(diǎn)。

S-LoRA采用了LoRA的方法，該方法由Microsoft開發(fā)，通過識(shí)別LLM基礎(chǔ)模型中足夠用于精細(xì)調(diào)整的最小參數(shù)子集，將可調(diào)整參數(shù)數(shù)量減少數(shù)個(gè)數(shù)量級(jí)，同時(shí)保持與全參數(shù)調(diào)整相當(dāng)?shù)臏?zhǔn)確性水平。這極大地減少了個(gè)性化模型所需的內(nèi)存和計(jì)算資源。

盡管LoRA在精細(xì)調(diào)整中的有效性已經(jīng)在人工智能社區(qū)廣泛應(yīng)用，但在單個(gè)GPU上運(yùn)行多個(gè)LoRA模型仍然面臨一些技術(shù)挑戰(zhàn)，主要是內(nèi)存管理和批處理過程。S-LoRA通過引入動(dòng)態(tài)內(nèi)存管理系統(tǒng)和"Unified Paging"機(jī)制成功解決了這些挑戰(zhàn)，實(shí)現(xiàn)了多個(gè)LoRA模型的高效服務(wù)。

在評(píng)估中，S-LoRA在服務(wù)Meta的Llama模型時(shí)表現(xiàn)出色，相較于Hugging Face PEFT，吞吐量提高了30倍，同時(shí)成功服務(wù)了2，000個(gè)適配器，而計(jì)算開銷增加微不足道。這使得企業(yè)能夠以較低的成本提供個(gè)性化的LLM驅(qū)動(dòng)服務(wù)，從內(nèi)容創(chuàng)作到客戶服務(wù)等領(lǐng)域都有廣泛應(yīng)用前景。

S-LoRA的研究人員表示，該技術(shù)主要面向個(gè)性化LLM服務(wù)，服務(wù)提供商可以通過相同的基礎(chǔ)模型為用戶提供不同的適配器，這些適配器可以根據(jù)用戶的歷史數(shù)據(jù)進(jìn)行調(diào)整。此外，S-LoRA還支持與上下文學(xué)習(xí)相容，通過添加最新數(shù)據(jù)作為上下文，進(jìn)一步提升LLM的響應(yīng)效果。

該技術(shù)的代碼已經(jīng)在GitHub上開源，研究人員計(jì)劃將其整合到常見的LLM服務(wù)框架中，以便企業(yè)能夠輕松地將S-LoRA納入其應(yīng)用中。這一創(chuàng)新為企業(yè)提供了更廣闊的LLM應(yīng)用空間，同時(shí)降低了運(yùn)行成本，推動(dòng)了個(gè)性化AI服務(wù)的發(fā)展。

（舉報(bào)）