要點(diǎn):

1. ReCon框架通過引入「三思而后行」和「換位思考」的思維過程，提高大語言模型在欺騙性環(huán)境中的決策能力，增加AI智能體的安全性與可靠性。

2. 清華大學(xué)與通用人工智能研究院的研究團(tuán)隊(duì)以阿瓦隆桌游為例，測試了大語言模型在充滿欺騙的環(huán)境下的局限性，提出ReCon框架來解決這些問題。

3. ReCon框架主要包含兩個(gè)階段的思考過程，即「構(gòu)思思考」和「改進(jìn)思考」，通過一階視角轉(zhuǎn)換和二階視角轉(zhuǎn)換，提高大語言模型識別和應(yīng)對欺騙的能力。

站長之家（ChinaZ.com）10月16日 消息:隨著大語言模型的不斷進(jìn)展，AI智能體的發(fā)展也變得更加蓬勃。然而，研究者發(fā)現(xiàn)在未來無人監(jiān)管的情況下，防止AI智能體被欺騙和誤導(dǎo)是一個(gè)被忽視的問題，因?yàn)槿祟惿鐣写嬖谥罅空`導(dǎo)和欺騙性的信息，如果AI智能體不能有效地識別和應(yīng)對這些信息，可能會導(dǎo)致不可估量的后果。

論文地址:https://arxiv.org/pdf/2310.01320.pdf

為了解決這個(gè)問題，一支由清華大學(xué)與通用人工智能研究院的研究團(tuán)隊(duì)組成的研究團(tuán)隊(duì)以阿瓦隆桌游為例，測試了大語言模型在充滿欺騙的環(huán)境下的局限性，并提出了ReCon框架。

ReCon框架受到人類思考中的「三思而后行」和「換位思考」的啟發(fā)，通過引入兩個(gè)主要的構(gòu)思階段，即「構(gòu)思思考」和「改進(jìn)思考」，并綜合了一階視角轉(zhuǎn)換和二階視角轉(zhuǎn)換的思考方式，來提高大語言模型對欺騙的識別和應(yīng)對能力。

該研究發(fā)現(xiàn)大語言模型在欺騙性環(huán)境中面臨三大挑戰(zhàn):惡意信息的誤導(dǎo)、私有信息泄露以及內(nèi)部思考的不透明性。ReCon框架通過重新思考大語言模型在欺騙性環(huán)境中的策略，幫助解決了這些挑戰(zhàn)。

在ReCon框架中，構(gòu)思思考階段旨在生成模型的初始思考和發(fā)言內(nèi)容，而改進(jìn)思考階段旨在對這些內(nèi)容進(jìn)行更為精細(xì)的優(yōu)化和調(diào)整。

通過這一研究，研究團(tuán)隊(duì)發(fā)現(xiàn)ReCon框架能夠在無需微調(diào)和額外數(shù)據(jù)的情況下顯著提高大語言模型的識別和應(yīng)對欺騙的能力。

此外，研究還提出了現(xiàn)有大語言模型在安全、推理、說話方式和格式等方面的不足，并為后續(xù)研究指明了可能的方向。這一研究對于提高AI智能體的安全性和可靠性具有重要意義。

（舉報(bào)）