文章概要:

1. 美國(guó)AI初創(chuàng)公司Galileo發(fā)布新工具，幫助用戶更好地理解和解釋大型語(yǔ)言模型（LLMs）的輸出，特別是幻覺(jué)現(xiàn)象。

2. Galileo Studio現(xiàn)在具備實(shí)時(shí)監(jiān)測(cè)功能，允許用戶評(píng)估輸入和輸出，提供新指標(biāo)和防護(hù)措施以優(yōu)化LLMs的性能。

3. Galileo還引入了"接地性"指標(biāo)，用于確定模型輸出是否與訓(xùn)練數(shù)據(jù)相關(guān)，以區(qū)分幻覺(jué)和模型輸出的真實(shí)性。

站長(zhǎng)之家(ChinaZ.com) 9月20日 消息:在人工智能領(lǐng)域，特定生成型人工智能模型（LLMs）產(chǎn)生幻覺(jué)現(xiàn)象的問(wèn)題一直令人困惑。然而，舊金山的AI初創(chuàng)公司Galileo正在努力解決這一問(wèn)題，并為用戶提供了一系列新的監(jiān)測(cè)和指標(biāo)功能，以幫助他們更好地理解和解釋LLMs的輸出。

Galileo Studio是該公司旗下的工具，最新更新使用戶不僅可以評(píng)估輸入和上下文，還可以實(shí)時(shí)觀察輸出。這些新的監(jiān)測(cè)功能使Galileo能夠更好地解釋為什么模型會(huì)產(chǎn)生特定的輸出，并提供新的指標(biāo)和防護(hù)措施來(lái)優(yōu)化LLMs的性能。

圖源備注：圖片由AI生成，圖片授權(quán)服務(wù)商Midjourney

Galileo的聯(lián)合創(chuàng)始人兼CEO Vikram Chatterji在接受VentureBeat的獨(dú)家采訪中表示:“最近幾個(gè)月的真正新功能是我們添加了實(shí)時(shí)監(jiān)測(cè)，因?yàn)楝F(xiàn)在您實(shí)際上可以觀察到出了什么問(wèn)題。這已經(jīng)成為一個(gè)端到端的產(chǎn)品，用于不斷改進(jìn)大型語(yǔ)言模型應(yīng)用?！?/p>

LLMs通常依賴于應(yīng)用程序向LLM發(fā)出API調(diào)用以獲取響應(yīng)。Galileo攔截了這些API調(diào)用，包括輸入和生成的輸出。通過(guò)攔截這些數(shù)據(jù)，Galileo能夠向用戶提供關(guān)于模型性能以及輸出準(zhǔn)確性的準(zhǔn)實(shí)時(shí)信息。

當(dāng)我們討論生成的AI輸出的事實(shí)準(zhǔn)確性時(shí)，通常會(huì)涉及到幻覺(jué)現(xiàn)象，即生成了與事實(shí)不符的輸出。Chatterji解釋說(shuō)，LLM實(shí)際上是在嘗試預(yù)測(cè)下一個(gè)單詞應(yīng)該是什么，但它還有關(guān)于下一個(gè)備選單詞的想法，并為所有這些不同的標(biāo)記或不同的單詞分配概率。

Galileo通過(guò)與模型本身連接，使其能夠準(zhǔn)確了解這些概率，然后提供額外的指標(biāo)來(lái)更好地解釋模型輸出并理解為什么會(huì)出現(xiàn)特定的幻覺(jué)現(xiàn)象。通過(guò)提供這些見(jiàn)解，Galileo的目標(biāo)是幫助開(kāi)發(fā)人員更好地調(diào)整模型和微調(diào)以獲得最佳結(jié)果。

除了幻覺(jué)問(wèn)題，LLM基礎(chǔ)應(yīng)用程序提供的響應(yīng)可能會(huì)引發(fā)一些問(wèn)題，如不準(zhǔn)確、不當(dāng)?shù)恼Z(yǔ)言或機(jī)密信息泄露。為了解決這些問(wèn)題，Galileo Studio還引入了新的"防護(hù)措施"指標(biāo)。對(duì)于AI模型，防護(hù)措施是關(guān)于模型可以生成的信息、語(yǔ)氣和語(yǔ)言的限制。

對(duì)于金融服務(wù)和醫(yī)療保健等領(lǐng)域的組織來(lái)說(shuō)，存在與信息披露和語(yǔ)言使用相關(guān)的監(jiān)管合規(guī)性問(wèn)題。通過(guò)防護(hù)措施指標(biāo)，Galileo用戶可以設(shè)置自己的防護(hù)措施，然后監(jiān)控和測(cè)量模型輸出，以確保LLMs不會(huì)偏離正軌。

此外，Galileo還跟蹤一項(xiàng)被稱為"接地性"的指標(biāo)，用于確定模型的輸出是否符合其提供的訓(xùn)練數(shù)據(jù)的范圍。如果一個(gè)模型在抵押貸款文件上進(jìn)行訓(xùn)練，但提供了與這些文件完全無(wú)關(guān)的答案，Galileo可以通過(guò)接地性指標(biāo)檢測(cè)到這一情況。這使用戶可以知道響應(yīng)是否與模型的訓(xùn)練背景相關(guān)。

Galileo為用戶提供了一套全面的指標(biāo)，使他們能夠更好地理解模型的輸出并解釋其真實(shí)性。這些指標(biāo)不僅有助于發(fā)現(xiàn)幻覺(jué)現(xiàn)象，還以可視化的方式解釋了模型在每個(gè)單詞基礎(chǔ)上的困惑，有助于開(kāi)發(fā)人員優(yōu)化模型以獲得最佳結(jié)果。同時(shí)，通過(guò)防護(hù)措施和接地性指標(biāo)，Galileo還幫助開(kāi)發(fā)人員確保LLMs的輸出不會(huì)引發(fā)問(wèn)題，如不準(zhǔn)確或不合規(guī)的響應(yīng)。

（舉報(bào)）