要點(diǎn):
堪薩斯大學(xué)研究團(tuán)隊(duì)成功開發(fā)了一款學(xué)術(shù)AI檢測系統(tǒng),準(zhǔn)確率高達(dá)98%,能有效區(qū)分人類和AI生成的文本,對(duì)科學(xué)期刊領(lǐng)域尤為強(qiáng)大。
該檢測系統(tǒng)基于20個(gè)關(guān)鍵特征和XGBoost算法,通過定制化檢測軟件針對(duì)特定領(lǐng)域的學(xué)術(shù)論文,實(shí)現(xiàn)了高準(zhǔn)確率的文本識(shí)別。
與OpenAI的最新分類器相比,該檢測系統(tǒng)在測試中表現(xiàn)優(yōu)異,對(duì)GPT-3.5和GPT-4生成的文本都具有高效性,而通用AI檢測器的性能較低。
站長之家(ChinaZ.com)11月10日 消息:近期,堪薩斯大學(xué)的研究團(tuán)隊(duì)成功研發(fā)了一款學(xué)術(shù)AI檢測系統(tǒng),其準(zhǔn)確率高達(dá)98%。相較于OpenAI的最新分類器,該系統(tǒng)在識(shí)別AI生成文本方面表現(xiàn)出色,為解決科學(xué)期刊中可能存在的AI生成文本的問題提供了一種高效的解決方案。研究團(tuán)隊(duì)的核心思路在于不追求通用性,而是專注于特定領(lǐng)域的學(xué)術(shù)論文,通過定制化檢測軟件實(shí)現(xiàn)對(duì)人類和AI生成文本的有效區(qū)分。
論文地址:https://www.sciencedirect.com/science/article/pii/S2666386423005015?via%3Dihub
該檢測系統(tǒng)的關(guān)鍵優(yōu)勢在于采用了20個(gè)特征和XGBoost算法,通過訓(xùn)練定制化的檢測器,使其適應(yīng)特定領(lǐng)域的寫作風(fēng)格。研究人員提取的特征包括句子長度變化、特定標(biāo)點(diǎn)符號(hào)的使用頻率等,通過這些特征的XGBoost模型訓(xùn)練,實(shí)現(xiàn)了高準(zhǔn)確率的文本識(shí)別。研究人員認(rèn)為,定制化檢測系統(tǒng)的方法可以為開發(fā)通用AI檢測器提供一個(gè)技術(shù)路徑,使得在不同領(lǐng)域構(gòu)建類似系統(tǒng)變得更為可行。
在測試中,該檢測系統(tǒng)在美國化學(xué)學(xué)會(huì)(ACS)出版的十種化學(xué)期刊論文上表現(xiàn)出色,尤其在處理GPT-3.5和GPT-4生成的文本時(shí)取得了顯著成果。相比之下,通用AI檢測器的性能相對(duì)較低,而OpenAI的分類器在檢測AI生成文本方面的準(zhǔn)確率僅為10%。該研究對(duì)于科學(xué)期刊的文本檢測提供了一種高效手段,可用于評(píng)估AI生成文本對(duì)學(xué)術(shù)界的滲透,并在必要時(shí)引入緩解策略。
然而,盡管在科學(xué)期刊中取得了顯著的成果,該檢測系統(tǒng)在檢測大學(xué)報(bào)紙上的新聞文章時(shí)效果較差。這暗示著檢測系統(tǒng)在不同領(lǐng)域和文體中的適用性存在一定的限制。不過,柏林應(yīng)用科學(xué)大學(xué)的計(jì)算機(jī)科學(xué)家對(duì)該研究給予了高度評(píng)價(jià),認(rèn)為其在解決特定領(lǐng)域的AI生成文本問題上非常引人注目。
綜上所述,堪薩斯大學(xué)研究團(tuán)隊(duì)的學(xué)術(shù)AI檢測系統(tǒng)為科學(xué)期刊提供了一種高效的解決方案,通過定制化檢測軟件,成功實(shí)現(xiàn)了對(duì)特定領(lǐng)域文本的準(zhǔn)確識(shí)別,為應(yīng)對(duì)AI生成文本的挑戰(zhàn)提供了有力支持。
(舉報(bào))