11.11云上盛惠!海量產(chǎn)品 · 輕松上云!云服務(wù)器首年1.8折起,買(mǎi)1年送3個(gè)月!超值優(yōu)惠,性能穩(wěn)定,讓您的云端之旅更加暢享??靵?lái)騰訊云選購(gòu)吧!
蘋(píng)果一出手,在手機(jī)等移動(dòng)設(shè)備上部署大模型不可避免地成為行業(yè)關(guān)注焦點(diǎn)。目前在移動(dòng)設(shè)備上運(yùn)行的模型相對(duì)較小,并且消耗大量?jī)?nèi)存,這在很大程度上限制了其應(yīng)用場(chǎng)景。如果PowerInfer-2.0能夠與手機(jī)廠商進(jìn)一步緊密合作,相信可以加速相關(guān)技術(shù)走出實(shí)驗(yàn)室,落地到各種真實(shí)場(chǎng)景。
生成式大語(yǔ)言模型因其在各種任務(wù)中的出色表現(xiàn)聞名,包括復(fù)雜的自然語(yǔ)言處理、創(chuàng)意寫(xiě)作、問(wèn)答和代碼生成。LLM已在易于使用的本地系統(tǒng)上運(yùn)行,包括帶有消費(fèi)級(jí)GPU的家用PC,以改善數(shù)據(jù)隱私、可定制模型并降低推理成本。PowerInfer顯著提高了LLM推理速度,表明其作為在GPU功能有限的臺(tái)式電腦上執(zhí)行高級(jí)語(yǔ)言模型的解決方案的潛力。