站長之家（ChinaZ.com）10月10日 消息:中國科學(xué)院與耶魯大學(xué)的研究人員共同提出了一種名為「思維傳播」（Thought Propagation）的全新框架，旨在提升大型神經(jīng)網(wǎng)絡(luò)模型(如GPT-4、PaLM)的推理能力，使其能夠更像人類一樣進(jìn)行類比思考。這個框架的靈感源自人類認(rèn)知，即人們在面對新問題時常常將其與已經(jīng)解決的類似問題進(jìn)行比較，以推導(dǎo)出解決策略。
論文地址:https://arxiv.org/abs/2310.03965
「思維傳播」的核心思想是讓模型在解決問題之前，探索與輸入問題相關(guān)的類似問題，并從類似問題的解決方案中獲取啟發(fā)。這一過程包括三個關(guān)鍵階段:
1. 提出類似問題:模型通過提示生成與輸入問題相似的一組類似問題，以引導(dǎo)模型檢索相關(guān)的經(jīng)驗。
2. 解決類似問題:模型使用現(xiàn)有的提示技術(shù)（如CoT）來解決每個類似問題。
3. 匯總解決方案:模型可以根據(jù)類比解決方案直接推斷出輸入問題的新解決方案，或者通過比較類比解決方案推導(dǎo)出高級計劃或策略。
這個框架的關(guān)鍵創(chuàng)新之處在于它能夠激發(fā)模型的類比思維，引導(dǎo)復(fù)雜的推理過程。研究人員通過多個任務(wù)的評估驗證了「思維傳播」的有效性，包括最短路徑推理、創(chuàng)意寫作和LLM智能體規(guī)劃任務(wù)。
在最短路徑推理任務(wù)中，「思維傳播」顯著提高了性能，生成了最優(yōu)和有效的最短路徑。在創(chuàng)意寫作任務(wù)中，「思維傳播」也表現(xiàn)出人類更喜歡的一致性。在LLM智能體規(guī)劃任務(wù)中，「思維傳播」提高了任務(wù)完成率。
盡管這項研究提供了有望增強大型神經(jīng)網(wǎng)絡(luò)模型推理能力的新方法，但也存在一些挑戰(zhàn)，如生成有用的類比問題和管理長鏈的類比推理路徑。然而，「思維傳播」為改進(jìn)模型的推理能力指明了新方向，有望使大型語言模型更接近人類的推理方式。
（舉報）