別信AI的推理！| AI大模型，避坑指南（1）
拜託,不要輕易相信AI在推理方面的腦回路
看似全知全能的AI
竟然回答不上來小學生都能理解的常識題
讓AI幫忙解釋考古邏輯題
結果發現答案是錯的
哈嘍我是莉莉
爲你揭祕AI大模型隱藏弱點一支
邏輯推理
只有當你足夠了解AI的軟肋
還能避免被它帶進坑裏
先看一道簡單的邏輯題
愛麗絲有N個兄弟以及M個姐妹
問愛麗絲的兄弟有多少個姐妹
正確答案很明顯
是M加1
但近期的一篇論文表示
一系列無比強大的先進模型
在這個簡單的問題下
全都錯的離譜
關鍵是模型吧
爲了讓答案顯得合理
還會提供一堆看似有道理
但實際在放屁的解釋
我也在幾個海南版AI大模型上試了幾輪
爲了避免愛麗絲問題在網絡上變普遍後
被大模型操作於答案
我在不改變本質的前提下
對問題進行了些許的改變
從結果來看
居然真的是全錯
但這也不是研究人員第一次意識到
大模型在推理方面存在缺陷
去年就有人發現
大模型沒法很好地完成因果推理
再後來研究人員又發現
在訓練大模型學會A是B後
它無法推理出B是A
這種現象被取名叫逆轉詛咒
去年還有人發表了一篇
標題簡單粗暴的
叫做GP4不會推理的論文
研究人員通過21個問題進行驗證
發現這個前沿模型
雖然偶爾能閃現出分析的才華
但目前完全無法推理
當然了這些實驗結果只針對當下
隨着新版本的推出
針對大模型在ITX問題上的拉垮表現
圖倫想得主楊立坤再次強調
推理能力和常識
不應該與存儲與大致檢索
大量事實的能力混爲一談
換句話說就是
模型們可以提供信息
沒錯
但他們沒有真正理解
生成內容的深層意義
他之前也數次拋紅過
包括GPT在內的自迴歸大模型
認爲他們並不瞭解這個世界底層的事實
離通用人工智能遠着呢
所以朋友們
讓AI幫助行測題的邏輯推理師
還是留個心眼吧
關於AI大模型的第二個隱藏弱點
我們下個視頻見