GPT-4再度進(jìn)化！
加上一個(gè)簡單方法，就能讓GPT-4這類大語言模型學(xué)會(huì)自我反思，性能直接提升30%。
【資料圖】
在此之前，大語言模型回答出錯(cuò)，經(jīng)常是二話不說，直接先道歉，然后emmmmmm，繼續(xù)亂猜。
現(xiàn)在，它不會(huì)這樣了，有了新方法的加成，GPT-4不僅會(huì)反思自己哪里錯(cuò)了，還會(huì)給出改進(jìn)策略。
比如說它會(huì)自動(dòng)分析為什么“陷入循環(huán)”：
或者說反思一下自己有缺陷的搜索策略：
這是美國東北大學(xué)聯(lián)合MIT發(fā)表的最新論文中的方法：Reflexion。
不僅適用于GPT-4，也適用于其他大語言模型，讓它們學(xué)會(huì)人類特有的反思能力。
目前該論文已經(jīng)發(fā)表在預(yù)印平臺(tái)arxiv上。
這把直接讓網(wǎng)友直呼“AI進(jìn)化的速度已經(jīng)超過我們適應(yīng)的能力了，我們要被毀滅了。”
甚至有網(wǎng)友為開發(fā)人員發(fā)來“飯碗警告”：
用這種方法寫代碼的時(shí)薪是要比普通開發(fā)人員便宜的。
正如網(wǎng)友所言，Reflexion賦予GPT-4的反思能力和人類的思考過程差不多：
可以簡單用兩個(gè)字來概括：反饋。
在這個(gè)反饋過程中，又可以分為三大步：
1、評(píng)估：測試當(dāng)前生成答案的準(zhǔn)確性
2、自我反省的產(chǎn)生：錯(cuò)誤識(shí)別——實(shí)現(xiàn)修正
3、執(zhí)行一個(gè)迭代反饋循環(huán)
在第一步評(píng)估的過程中，首先要經(jīng)歷的是LLM（大語言模型）的自我評(píng)估。
也就是說LLM在還沒有外部反饋時(shí)，首先要自己對(duì)答案進(jìn)行反思。
那如何進(jìn)行自我反思？
研究團(tuán)隊(duì)使用了一個(gè)二元獎(jiǎng)勵(lì)機(jī)制，為LLM在當(dāng)前狀態(tài)下執(zhí)行的操作賦值：
1代表生成的結(jié)果OK，0則表示生成的結(jié)果不太行。
而之所以采用二元而非多值或連續(xù)輸出這類更具描述性的獎(jiǎng)勵(lì)機(jī)制，原因和沒有外部輸入有關(guān)。
要在沒有外部反饋的條件下進(jìn)行自我反思，必須將答案限制在二元狀態(tài)下，只有這樣，才能迫使LLM做出有意義的推斷。
在自我評(píng)估結(jié)束之后，如果二元獎(jiǎng)勵(lì)機(jī)制輸出為1，則不啟動(dòng)自我反思裝置，若為0，LLM則會(huì)開啟反思模式。
在反思的過程中，模型會(huì)觸發(fā)一個(gè)啟發(fā)性函數(shù)h（如下），類比人類思考過程，h起到的作用就像是監(jiān)督一樣。
不過，同人類思考一樣，LLM在反思的過程中同樣也有局限性，這在函數(shù)中的Ω和ε中就能體現(xiàn)。
Ω表示重復(fù)連續(xù)動(dòng)作的次數(shù)，一般會(huì)將這個(gè)數(shù)值設(shè)置為3，這表示反思過程中若重復(fù)一個(gè)步驟三次，會(huì)直接跳到下一個(gè)步驟。
而ε則表示在反思的過程中允許執(zhí)行的最大操作數(shù)量。
既然有監(jiān)督，那修正也必須執(zhí)行，修正過程的函數(shù)是這樣子的：
其中，自我反思模型是通過“特定領(lǐng)域的失敗軌跡和理想反射對(duì)”訓(xùn)練而來的，并不允許訪問數(shù)據(jù)集中給定問題的特定領(lǐng)域的解決方案。
這樣一來，LLM在反思的過程中便能夠迸發(fā)出更多有“創(chuàng)新性”的東西。
既然GPT-4這類LLM都能夠進(jìn)行自我反思了，那具體效果究竟如何？
研究團(tuán)隊(duì)在ALFWorld和HotpotQA基準(zhǔn)上對(duì)這種方法進(jìn)行了評(píng)估。
在HotpotQA的100個(gè)問答對(duì)測試中，使用Reflexion這種方法的LLM顯示出了巨大的優(yōu)勢，再經(jīng)過多輪反思重復(fù)提問之后，LLM的性能提升了接近30%。
而沒有使用Reflexion，在重復(fù)問答之后，性能沒有任何變化。
在HotpotQA的134個(gè)問答對(duì)測試中，可以看出在Reflexion的加持下，LLM經(jīng)過多輪反思后，準(zhǔn)確率一度達(dá)到97%。
在另外一篇博客中，團(tuán)隊(duì)成員也曬出了他們這種方法在GPT-4上的效果，測試范圍是編寫代碼。
結(jié)果也顯而易見，用了Reflexion，GPT-4的編程能力直接提升了21%。
關(guān)于GPT-4已經(jīng)會(huì)“思考”了，你怎（huang）么（le）看（ma）？
論文地址：https://arxiv.org/abs/2303.11366
參考鏈接：[1]https://nanothoughts.substack.com/p/reflecting-on-reflexion
[2]https://www.reddit.com/r/MachineLearning/comments/1215dbl/r_reflexion_an_autonomous_agent_with_dynamic/
關(guān)鍵詞：
