OpenAI最新強化微調技術解讀

AI開發前途無限 歡迎來到AI開發者的頻道 今天爲大家介紹一下 OpenAI剛剛發佈的強化微調 OpenAI於今天早上呢 剛剛發佈了最新的強化微調功能 這功能呢 號稱可以只使用十幾個樣本 就可以取得不錯的效果 那麼 這到底是一個什麼樣的微調技術呢 它與監督微調有什麼區別嗎 與ChatGPT訓練時使用的 基於人工反饋的增強學習訓練 有什麼關係呢 今天這個視頻呢 我們就來一起看一下這個強化微調 OpenAI的奧特曼呢 前幾天介紹要在聖誕節前呢 連續12天發佈新的內容 昨天呢第一天發佈的 是正式版的深度推理模型 o1這個正式版的o1性能呢 比以前的這個預覽版呢又提升了不少 但是價格呢提升更大 達到了每個月呢200美金 今天的內容呢是第二次 也就是呢強化微調 對微調感興趣的小夥伴應該知道 OpenAI之前提供的有監督微調 監督微調呢 主要是通過預測下一個TOKEN的方式 來優化模型 從而達到學習新知識 或者針對特定任務產生更好的回答 但是監督微調要微調出效果 難度其實一點不小 首先呢是要求你有一定量的 高質量的訓練數據 第二個呢 是它容易造成這種災難性遺忘的問題 也就是呢 在微調任務上性能變好的同時呢 會丟失其他任務上的能力 那麼這次OpenAI新介紹的強化微調 效果如何呢 微調時又需要多少數據呢 我們首先來看一下強化微調呢 它是如何來做的 首先呢是要準備數據集 這個數據集呢 包括訓練數據集和驗證數據集 這兩個數據呢 它的格式是一樣的 但是呢數據呢不能互相交叉 訓練數據呢是用來做微調模型的 而驗證數據集呢 是用來評估微調後的模型效果如何的 比如這個例子呢 它是一個醫學上根據症狀 來預測對應基因的例子 前面呢是病狀 這邊呢是推理時的指令 最後呢是正確的答案 那麼如何進行訓練呢 這裏呢訓練可以分爲三步 第一步呢 是模型推理並輸出一個基因列表 這個列表呢 是按照這個預測答案的 這個可能性的大小排列的 第二步呢是對這個預測進行打分 第三步呢 是將這個打分作爲loss 來計算梯度更新模型 強化學習中 一個非常關鍵的一點 就是要設計這個評分器 比如這個評分器 是將模型預測 輸出的多個備選答案的列表 與正確答案進行比較 從而計算出他的得分呢是0.7 我們知道Chat GPT訓練中呢 也使用了這種 基於人工反饋的強化學習 基於人工反饋的強化學習呢 是根據人工標定的數據 專門訓練了一個評分的模型 而這裏呢 OpenAI是設計了多種的評分器 用來對不同任務的這種輸出格式呢 進行打分 除了評分器呢 還可以設置微調模型時的超參數 比如學習率 epoch數量等等 那麼這個強化微調需要多少數據呢 根據open AI的介紹 呢 它號稱呢可以只使用數十個樣本 就可以取得不錯的效果 那麼這個強化微調的訓練 需要花多少時間呢 這個根據具體任務的不同呢 這個訓練的過程呢 可能需要數小時到數天的時間 這張圖呢 它展示的是 這個基因預測微調後的效果 我們可以看到微調後的o1 mini模型呢 在這個任務上的識別率呢 比o1模型變得更好了 最後呢我們來簡單的總結一下 第一個呢 是強化微調與監督微調的區別是什麼 強化微調與監督微調呢 它的訓練方式是完全不同的 監督微調呢 是通過優化預測下一個TOKEN的方式 來微調模型 而強化微調呢 是優化輸出結果的順序的方式 來微調模型 第二點 強化微調與基於人工反饋的強化學習 有什麼不同呢 這兩者呢 可以說是非常的相似 最大的不同之處呢 就是這個打分器的不同 基於人工反饋的強化學習呢 它使用的是專門訓練的reward模型 來進行打分 而強化微調呢 是使用的OpenAI 這裏提供的基於規則的打分器 那第3點 強化微調有什麼樣的優勢 又有什麼樣的缺點呢 根據OpenAI的描述 它可以使用很少的樣本呢來取得提升 另外呢 我覺得它的一個很大的一個優勢呢 是可以克服 監督微調上的災難性遺忘的問題 特別適合及要改善特定任務上的表現 還希望保持大模型通用能力 的這種情況 那麼這種訓練方式呢 他也有他 的一些缺點或者說是限制 由於這種強化微調呢 他優化的是模型輸出的排列順序 所以呢他並不善於引入新的知識 他的前體假設呢是模型中 已經存在相關的知識 但是呢由於偏差等原因吧 這種結果呢不容易被輸出出來 通過在特定任務上進行強化微調呢 微調後的模型呢 就會更傾向於呢輸出我們希望的結果 目前呢這個內容呢纔剛剛的發佈 今後呢我想肯定會有越來越多的 關於這個技術的解讀 對大模型微調感興趣的小夥伴呢 可以持續的關注一下這個技術 好了以上呢 就是今天的分享 如果你覺得本視頻對你有幫助 記得一鍵3連 感謝收看 我們下期視頻再見