劃重點:

?? 研究人員開發(fā)了名為SAFE的AI系統(tǒng)，使用大型語言模型來評估信息的準確性。

?? SAFE的使用成本約為人工事實檢查的20倍，可大大降低成本。

?? 研究引發(fā)了“超人類”表現(xiàn)的爭議，需要更多透明度和人類基準來評估其真實效果。

站長之家（ChinaZ.com）3月29日 消息:谷歌DeepMind的研究團隊發(fā)布了一項新研究，介紹了一種名為“Search-Augmented Factuality Evaluator （SAFE）”的人工智能系統(tǒng)。該系統(tǒng)利用大型語言模型將生成的文本分解成個別事實，并利用谷歌搜索結(jié)果來確定每個聲明的準確性。研究發(fā)現(xiàn)，SAFE在評估大型語言模型生成的信息準確性方面優(yōu)于人工事實檢查員。

與人工標注員的對比顯示，SAFE的評估結(jié)果與人工評級的一致率達到了72%。更值得注意的是，在100個SAFE與人工評級者之間存在分歧的樣本中，SAFE的判斷在76%的情況下被證明是正確的。然而，研究中“超人類”表現(xiàn)的說法引發(fā)了爭議，一些專家質(zhì)疑這里的“超人類”到底是什么意思。他們認為，需要更多透明度和人類基準來評估SAFE的真實效果，而不僅僅是依賴于眾包工人。

SAFE的應(yīng)用成本約為人工事實檢查的20倍，這意味著它可以大大降低事實核查的成本。研究團隊還使用SAFE評估了13個頂級語言模型的事實準確性，并發(fā)現(xiàn)較大型的模型通常產(chǎn)生較少的錯誤。盡管最佳模型的表現(xiàn)仍然存在一定數(shù)量的錯誤，但自動事實檢查工具如SAFE可能在減少這些風險方面發(fā)揮關(guān)鍵作用。

雖然SAFE的代碼和LongFact數(shù)據(jù)集已在GitHub上開源，但研究人員指出，仍需要更多關(guān)于研究中使用的人類基準的透明度。正因如此，技術(shù)巨頭們競相開發(fā)越來越強大的語言模型，自動核查這些系統(tǒng)輸出的信息的能力可能變得至關(guān)重要。SAFE等工具代表著建立新的信任和責任層面的重要一步。

然而，關(guān)鍵是這類重要技術(shù)的發(fā)展必須在開放的環(huán)境中進行，并獲得來自廣泛利益相關(guān)者的意見。嚴格、透明地與人類專家進行基準測試將是衡量真正進步的關(guān)鍵所在。只有這樣，我們才能評估自動事實檢查對打擊錯誤信息的實際影響。

論文地址：https://arxiv.org/pdf/2403.18802.pdf

（舉報）