計算機巨匠系列 2024圖靈獎得主理查德·薩頓：他教會AI在失敗中進化

如果人類飛行是靠模仿鳥類扇翅膀 我們至今會困在滑翔機時代 人類學習過程十分特別 那機器學東西和人類學習有什麼區別 機器學習時候犯錯了又怎麼辦 今天咱們就來聊聊剛剛獲得圖靈獎的理查德·薩頓 給機器裝上赤錯大道的強化學習教父 1978年 美國馬薩諸塞州某個地下室 年僅19歲的薩頓正趴在一臺PDP-11計算機前 屏幕上閃爍的綠光映出他叛逆的笑容 這個本該在麻省理工學院攻讀物理的天才 卻偷偷改寫了實驗室的彈珠遊戲程序 讓計算機通過不斷失敗自學通關技巧 當時的教授們不會想到 這個癡迷機器如何學習的怪咖少年 將在40年後掀起人工智能的第二次覺醒 1984年 薩頓的博士論文 扔出一枚思想核彈 時間差分學習 這套算法教會AI像人類一樣後悔 想象教AI玩象棋 傳統方法要等到整局結束後才告訴AI輸贏 而時間差分學習 讓AI每走一步就自我評估 剛才那步棋讓我離勝利更近還是更遠 這種實質反饋機制 正是人類學習騎自行車時的本能 每次搖晃都微調車版 而非摔進溝裏才總結教訓 這種算法將學習效率提升300倍 直接催生了1992年首個擊敗人類冠軍的西洋雙路棋AI 也是2019年AlphaGo戰勝尼斯時的重要啟發算法 當同行質疑讓機器試錯太慢時 薩頓卻認為有監督學習是模仿 無監督學習是察覺 而強化學習纔是真正的思考 1999年 薩頓正在解決AI的選擇困難症 當面對億萬種可能時 如何做出最優的決策 這就像新手股民面對K線圖 策略T2給AI裝上了直覺培養系統 先隨機買幾隻股票 觀察哪些賺錢 然後調整選股偏好 這套方法後來演變成 特斯拉自動駕駛緊急避讓的神經反射壺 和字節推薦算法 每天450億次精準推送的底層邏輯 2000年策略T2定理論文發表時 沈老人直言 這要麼是天才的閃光 要麼是徹底的瘋狂 20年後 這篇論文成為強化學業領域 被引量Top3的經典 2019年 薩頓又發表了震撼業界的苦澀的教訓 向當時風頭無量的深度學習派宣戰 他認為AI發展的最大障礙 是人類總想把自己的認知塞進機器 真正的突破來自算法 暴力與通用算法 而非模仿人類思維方式 這篇文章引發了千人論戰 2023年 OpenAI上演宮鬥事件期間 薩頓的觀點引發硅谷震盪 他認為當前AI發展像在造超級鸚鵡 它能模仿人類對話 但離真正的智能還差一次韓5G大爆發 這個爆發點必將在強化學業中誕生 從地下室搗鼓彈珠遊戲的叛逆少年 到重新定義本質的先鋒智者 薩頓用40年時間證明 進化從來不是精心設計的產物 而是億萬次試錯淬鍊的奇蹟 當GBT用他的TT算法 優化對話策略 當Space興建靠策略T2規劃著著陸軌跡 當生物學家用強化學習模擬蛋白質摺疊 這些都在印證薩頓強化學習的正確性 智能的本質是在不確定的世界中 找到通往獎勵的最優路徑 這條路沒有地圖 唯有不斷跌倒在爬起的勇氣 此刻那隻機械手抓住的不只是羽毛 更是一個永不停止探索的智能新時代 我是圖靈宇宙 講有溫度的故事 做有思考的客戶 我們下次再見