AI服務器是如何訓練大模型的

這是一臺AI服務器的機櫃 它裏面包含四組獨立的刀片模組 這是模組中的一臺刀片服務器 它內部的存儲空間 比普通電腦多了兩個數量級 但是內存容量就達到了TB級別 硬盤的存儲空間更是達到了上百PB 那爲什麼AI會需要這麼大的存儲空間呢? 當你跟AI對話時 AI需要理解你輸入的每個單詞 並將單詞拆分成Token 再將每個Token轉換成一串2000到8000維度的數字項量 假設一個維度佔用一個字節 一個Token對應8000個維度 那麼一個單詞就會產生8000字節的數據 但是AI往往需要處理一段很長的文本 因此會產生更多的數據 其中AI能夠處理的最大Token數 也被稱爲上下文窗口 對於一些頂尖大模型 上下文窗口的Token數能達到十萬到幾百萬個 這個上下文窗口不僅包含你輸入的數據 還包含先前的對話、輸出的結果 以及參考的文本等等 因此一個包含100萬個Token的上下文窗口 能產生超過8GB的數據 爲了快速響應 AI會將這100萬個Token的上下文窗口 依次通過幾十到上百層的模塊進行處理 由於在每一層計算中 都需要調用模型中大量的參數參與運算 因此現代大模型的參數規模 往往會達到數千億甚至數萬億級別 如果只是用來推理 存儲空間能達到20TB以上 如果是用來訓練 那麼存儲空間會輕鬆突破100TB以上 如此龐大的數據 是如何存儲起來並進行數據流轉的呢? 我們來看一個標準的存儲架構 架構的頂層是進內存 一般爲高帶寬顯存 它們會緊挨着GPU核心放置 接着下面是服務器主板上的CPU主內存 主內存下面是擴展內存 它可以對內存進行擴容 接着是固態硬盤 在這一層 數據可以在斷電後永久保存 最下面一層是網絡化數據壺 它連接的是遠端的海量存儲集群 現在我們從下網上依次進行講解 我們先來說數據壺 數據壺的容量通常是PB級別的 它裏面安裝的是NVMe企業級固態硬盤 單個容量能夠達到122TB 最大容量甚至能達到246TB 因此一臺完整的服務器基架 存儲的數據能達到幾十到上百PB 數據壺的硬盤裏面 存放着整個互聯網爬取下來的海量多模態訓練數據 這些數據包含視頻 圖片 文本等等 另外像AI訓練時的日誌等數據也會存儲在數據壺 你可以將數據壺理解成一個總的知識倉庫 但是數據壺無法滿足AI服務器高吞吐 低延遲的讀取需求 因此AI在訓練時並不會直接去訪問數據壺 而是會將AI訓練準備用到的數據和模型文件 從數據壺拿出來 然後緩存到固態硬盤內 這是固態硬盤內的閃存芯片 緩存的所有數據就存儲在閃存芯片內 但是爲了讓單個硬盤內能夠存儲更多的數據 AI服務器使用的固態硬盤 往往擁有更多的閃存芯片 單個固態硬盤就能存儲30TB的數據 一臺AI服務器會有十幾個這種容量的固態硬盤 固態硬盤通過先進的PCIE6.0高速串行總線 與服務器進行通信 能夠滿足訓練和推理的極端吞吐量需求 讀取速率能達到驚人的每秒幾十GB 但是這個速率跟GPU顯存每秒1.2TB的速率相比 依舊不是一個數量級 爲了滿足GPU的超高計算節奏 AI服務器必須要有一個高速緩衝區 來負責數據的實時調度、加工以及中轉 因此這就需要用到內存了 一根DDR5雙通道內存 每秒最多能吞吐90-100GB的數據 讀取延遲只有幾十納秒 也就是說指令下達後 內存幾乎能立刻讀取到數據 因此爲了爲保GPU 在AI刀片服務器裏面 安裝有很多內存條 這裏一共有32條DDR5內存條 每條容量128GB 總容量達到4TB 在AI進行訓練或者推理時 服務器的CPU會先將模型參數 訓練樣本、Token等等 從固態硬盤讀到系統內存中 GPU收到指令後 就會通過高速總線 將內存中的數據搬運到顯存中 這是服務器裏面的一個顯存芯片 它由12層的芯片堆疊而成 每一層芯片通過歸通孔進行連接 從而形成一個單獨的封裝體 一般來說 一個GPU芯片的周圍 會有6塊這樣的內存封裝體 總顯存容量達到141GB或者更高 GPU芯片和顯存全部被安裝到了中階層上 中階層就像一個迷你主板 通過超高密度的佈線 能讓GPU芯片和顯存實現高速通信 帶寬能做到每秒1.2TB 也就是說每秒能傳輸1200GB的數據 依託顯存的超高帶寬 顯存能在納秒級 將訓練數據提供給GPU GPU在拿到這些數據後 就能高效地完成訓練和推理任務了 需要注意的是 AI服務器的機櫃往往不止一臺 它可能有幾十上百臺 而刀片服務器則能達到上千臺 這些機櫃之間 會使用專用的高速互聯網絡 把每一塊GPU 每一臺服務器連接成一個統一的超級計算體 而模型的訓練任務 會被拆分成無數個計算片段 並分佈到成千上萬塊GPU上並行執行 所以你在和AI聊天時 實際上你是在向這個超級計算體發送請求 而它的每一次回答 都是整個數據中心共同思考的結果