站長之家（ChinaZ.com）4月7日 消息:斯坦福大學(xué)的研究團隊近日推出了一款名為Octopusv2的新型人工智能模型，這款模型以其在端側(cè)設(shè)備上的強大運行能力而受到廣泛關(guān)注。

Octopusv2是一款擁有20億參數(shù)的開源語言模型，專為在Android設(shè)備上運行而設(shè)計，同時也適用于汽車、個人電腦等其他端側(cè)設(shè)備。該模型在準確性和延遲方面的表現(xiàn)超越了GPT-4，并且在上下文長度上減少了95%，顯示出了顯著的性能優(yōu)勢。

論文地址:https://arxiv.org/abs/2404.01744

模型主頁:https://huggingface.co/NexaAIDev/Octopus-v2

Octopusv2的推出，標志著設(shè)備端AI智能體時代的來臨。與傳統(tǒng)的云端AI模型相比，端側(cè)AI模型能夠在本地設(shè)備上直接處理數(shù)據(jù)，減少了對網(wǎng)絡(luò)的依賴，提高了數(shù)據(jù)處理的速度和隱私性。Octopusv2的下載量在短時間內(nèi)突破了2000次，顯示出開發(fā)者社區(qū)對其的高度認可和興趣。

Octopus-V2-2B模型的開發(fā)過程中，研究團隊采用了創(chuàng)新的函數(shù)token策略，這使得模型在訓(xùn)練和推理階段能夠高效地生成復(fù)雜的函數(shù)調(diào)用。為了訓(xùn)練、驗證和測試模型，團隊創(chuàng)建了高質(zhì)量的數(shù)據(jù)集，并采用了Google Gemini進行二進制驗證支持。此外，研究團隊還編寫了20個Android API描述，用于模型的訓(xùn)練，以確保其在實際應(yīng)用中的高效性和準確性。

在模型開發(fā)與訓(xùn)練方面，Octopusv2采用了Google Gemma-2B模型作為預(yù)訓(xùn)練基礎(chǔ)，并結(jié)合了完整模型訓(xùn)練和LoRA模型訓(xùn)練兩種方法。通過這些方法，模型在保持與GPT-4相當?shù)男阅芩降耐瑫r，顯著提高了推理速度。在單個GPU上運行Octopus-V2-2B模型的代碼也已經(jīng)公開，方便開發(fā)者進行實驗和應(yīng)用。

在性能評估方面，Octopus-V2-2B在基準測試中表現(xiàn)出了卓越的推理速度，比Llama7B+RAG解決方案快36倍，并且在函數(shù)調(diào)用準確率上超越了31%。

與依賴集群A100/H100GPU的GPT-4-turbo相比，Octopus-V2-2B的速度提高了168%。這些效率上的突破，使得Octopus-V2-2B在速度和準確率上都展現(xiàn)出了強大的競爭力。

隨著Octopusv2的推出，我們有理由相信，端側(cè)AI的發(fā)展將為各種應(yīng)用帶來革命性的變革。無論是在智能手機、汽車還是個人電腦等設(shè)備上，Octopusv2都能夠提供高效、準確的AI支持，推動智能設(shè)備向更加智能化的方向發(fā)展。對于那些對AI技術(shù)充滿熱情的開發(fā)者和企業(yè)來說，Octopusv2無疑提供了一個全新的平臺，以探索和實現(xiàn)更多創(chuàng)新的應(yīng)用場景。

（舉報）