文章概要:

1. 加利福尼亞初創(chuàng)公司Nucleus AI發(fā)布了22B參數(shù)的大規(guī)模語(yǔ)言模型，計(jì)劃用于農(nóng)業(yè)領(lǐng)域的AI轉(zhuǎn)型。

2. 該模型可在開源和商業(yè)許可下使用，性能優(yōu)越，可用于不同生成任務(wù)。

3. 公司的遠(yuǎn)景是構(gòu)建智能農(nóng)業(yè)操作系統(tǒng)，以優(yōu)化供需關(guān)系，解決農(nóng)業(yè)領(lǐng)域的挑戰(zhàn)。

站長(zhǎng)之家(ChinaZ.com) 10月7日 消息:加利福尼亞的初創(chuàng)公司Nucleus AI，匯聚了來(lái)自亞馬遜和三星研究的人才，近日以一款強(qiáng)大的22億參數(shù)大規(guī)模語(yǔ)言模型（LLM）正式亮相。這個(gè)模型可在開源MIT許可和商業(yè)許可下使用，它具有通用性，位于13B和34B模型之間，可以進(jìn)行不同生成任務(wù)和產(chǎn)品的微調(diào)。Nucleus表示，這一模型在性能上勝過(guò)了相似規(guī)模的其他模型，最終將有助于實(shí)現(xiàn)公司將AI用于改變農(nóng)業(yè)的目標(biāo)。

Nucleus AI的首席執(zhí)行官Gnandeep Moturi表示:“我們首先推出了我們的220億模型，這是一個(gè)變換器模型。然后，大約在兩周內(nèi)，我們將發(fā)布我們的最新RetNet模型，這將在成本和推斷速度方面帶來(lái)顯著的好處?！?/p>

圖源備注：圖片由AI生成，圖片授權(quán)服務(wù)商Midjourney

Nucleus開始在大約三個(gè)半月前對(duì)22B模型進(jìn)行訓(xùn)練，之后收到了一位早期投資者提供的計(jì)算資源。公司利用現(xiàn)有研究和開源社區(qū)的資源，對(duì)這個(gè)LLM模型進(jìn)行了預(yù)訓(xùn)練，上下文長(zhǎng)度為2048個(gè)標(biāo)記，最終對(duì)它進(jìn)行了萬(wàn)億級(jí)的數(shù)據(jù)訓(xùn)練，包括從網(wǎng)絡(luò)、維基百科、Stack Exchange、arXiv和代碼中獲取的大規(guī)模去重和清理信息。這為模型提供了豐富的知識(shí)庫(kù)，涵蓋了從一般信息到學(xué)術(shù)研究和編程見解的內(nèi)容。

接下來(lái)，Nucleus計(jì)劃發(fā)布更多版本的22B模型，它們分別在3500億和7000億標(biāo)記的數(shù)據(jù)上進(jìn)行了訓(xùn)練，還有兩個(gè)RetNet模型，參數(shù)分別為30億和110億，它們?cè)诟蟮纳舷挛拈L(zhǎng)度（4096個(gè)標(biāo)記）上進(jìn)行了預(yù)訓(xùn)練。這些較小規(guī)模的模型將融合了循環(huán)神經(jīng)網(wǎng)絡(luò)(RNN)和變換器神經(jīng)網(wǎng)絡(luò)架構(gòu)的優(yōu)點(diǎn)，將在速度和成本方面實(shí)現(xiàn)巨大的提升。在內(nèi)部實(shí)驗(yàn)中，這些模型被發(fā)現(xiàn)要快15倍，僅需相似變換器模型通常要求的四分之一GPU內(nèi)存。

然而，與其他LLM公司OpenAI、Anthropic和Cohere不同，Nucleus AI并沒有將其模型僅限于企業(yè)應(yīng)用。公司的遠(yuǎn)景是利用AI構(gòu)建一個(gè)智能農(nóng)業(yè)操作系統(tǒng)，旨在優(yōu)化供需關(guān)系并減少農(nóng)民面臨的不確定性。Moturi解釋道:“我們有一個(gè)類似市場(chǎng)的想法，需求和供應(yīng)將被高度優(yōu)化，就像Uber為出租車司機(jī)所做的那樣?！边@一舉措將有助于解決農(nóng)民面臨的多個(gè)挑戰(zhàn)，從氣候變化和知識(shí)不足到供應(yīng)的優(yōu)化和分銷的維護(hù)。

總的來(lái)說(shuō)，Nucleus AI計(jì)劃在農(nóng)業(yè)領(lǐng)域推出創(chuàng)新性的解決方案，而不僅僅是構(gòu)建對(duì)話機(jī)器人。盡管有挑戰(zhàn)，但他們有信心通過(guò)在開源社區(qū)的貢獻(xiàn)，將語(yǔ)言模型作為市場(chǎng)的核心，實(shí)現(xiàn)他們的愿景。有關(guān)面向農(nóng)業(yè)的智能操作系統(tǒng)和RetNet模型的更多細(xì)節(jié)將在本月晚些時(shí)候公布。VentureBeat的使命是成為技術(shù)決策者獲取有關(guān)變革性企業(yè)技術(shù)的知識(shí)和進(jìn)行交易的數(shù)字城鎮(zhèn)廣場(chǎng)。

（舉報(bào)）