11.11云上盛惠!海量產(chǎn)品 · 輕松上云!云服務(wù)器首年1.8折起,買1年送3個(gè)月!超值優(yōu)惠,性能穩(wěn)定,讓您的云端之旅更加暢享??靵眚v訊云選購吧!
清華和微軟的研究人員提出了一種全新的方法,能在保證輸出質(zhì)量不變的前提下,將提示詞壓縮到原始長度的20%!在自然語言處理中,有很多信息其實(shí)是重復(fù)的。如果能將提示詞進(jìn)行有效地壓縮,某種程度上也相當(dāng)于擴(kuò)大了模型支持上下文的長度。GPT-4可以有效地重建原始提示,這表明在LLMLingua-2壓縮過程中并沒有丟失基本信息。