3 個細節看懂 Taalas 芯片的瘋狂設計

這芯片一輩子只會跑一個模型 改不了也刪不掉 模型哪天被淘汰 這塊硅就是一堆廢品 2026年8月6日 AMD還是把這家公司買下來了 而就在同一個月 另一家AI芯片公司Graph 把這個芯片裏 焊死的那個模型排進了停用名單 這怎麼理解呢 AMD沒公佈價格 一個數字都沒有 但買回來的東西長什麼樣看得見 一塊板子中間一顆815平方毫米的芯片 一整塊硅沒有拼接 供電和散熱都是標準件 真正奇怪的地方在四周空的 一塊高帶寬內存都沒懟 照片上看得清清楚楚 這張卡是拿來跑大模型的 那模型放在哪 模型不在內存裏 這顆芯片沒有把喇嘛3018B存進去 物理層面上它就是喇嘛3018B 那一整套權重在這塊硅上不是以電荷的形式待着 它們化成了佈線 化成了金屬層裏一段一段真實的幾何形狀 代碼就是形狀 想改代碼就得 改形狀，可硅一旦長成那樣，它就是那樣了 做這顆芯片的公司叫Thales 在多倫多，全公司二十幾個人 這批人多半是老架構師，從AMD、蘋果、谷歌、英偉達 來自 Tenstorrent 2026年2月19日第一次公開露面 一露面就端出了 SC1 模型的權重是一堆數 背上的佈線是金屬，一堆數怎麼就長成金屬了？ 而且它是在哪一步長成的？ 一顆芯片從圖紙走到出廠，中間隔着一整條產線 這個模型是在哪一道工序上被摁進去的 現代芯片身上有大約100層物理層 它那是隻動最上面的兩層 那兩層是金屬過孔層 過孔就是金屬層之間上下打通的小通道 焊死這件事就發生在整條產線的最後一段 金屬化那道工序上 底下那90多層對所有模型完全一樣 邏輯門、寄存單元、累加器、片上內存 是同一套基礎晶圓 提前批量造好，堆在庫裏 要把 Llama 3 8B 按上去 只用重開最上面這兩層的掩模 掩模就是做 芯片用的那層板子 從頭做全套掩模都得重開 只改兩層過孔 招牌的就是這筆開模費 問題是兩層金屬通道 怎麼就成了模型的權重 Tolas 的創始人劉炳霞對外說 HCE 把四位權重存起來 用單個晶體管完成相關的乘法 聽着像是那個晶體管在算 Tolas 自己遞交的兩份專利裏 畫的是另一套東西 這顆芯片上的權重被壓到三位或者四位 四位是什麼意思呢 一個位置上的權重所有可能的取值一共 16 種 三位是 8 種 一個輸入值進來 先在陣列邊上跟這幾個常數各乘一遍 乘負 2 乘負 1 乘 0 乘 1 乘 2 一次乘完 每個結果各佔一條信號線 幾條線平行着 橫鋪進整個陣列 這個輸入值不用再被乘幾百萬次了 就乘這麼幾次 接着這幾條線要穿過一張交叉開關矩陣 矩陣的每一個交叉點上蹲着一個晶體管 乾的是傳輸門的活 通或者斷 哪個點通，哪個點斷 掩膜說了算 那麼 3.18b 在某個位置上的權重要是 2 掩膜就在這個點上打一個過孔 那條帶的輸入值乘以 2 的線就接到累加器上 累加器再把結果加到一起 過孔在這條線就通 過孔不在這條線就斷 算出來的，是選出來的 被刪掉的是一整套搬運工序 英偉達的 H100 AMD 自己賣三百 算一層神經網絡之前 都得先搬權重 從高帶寬內存搬到二級緩存 再進片上內存 最後送進寄存器 乘加單元這才動手做那次乘法 HCE上沒有這條路 要搬的那個東西不存在了 它已經是陷入了一部分 搬這一趟燒掉的電 比乘法單元真正做那次乘法 燒掉的高出幾個數量級 刪掉的就是這一趟 企業爲調用大模型接口 付出去的那筆錢真正貴啊 多半不是算，是搬，是電，是硬件，一天天的折舊 刪掉一整套工序，省下來的電和時間總得落成一個數 那個數有多大誰測的 搬運那道工序刪掉之後放回來的數 Paras自己報了一個 一秒鐘 16960個Token 單用戶條件下量的同一個模型同樣單用戶 同樣只算省成這一段 英偉達的H100和H200 130到500 Groq卡 666到840 Cerebras那片晶圓級的芯片 2000到2300 是不是 報的是17000 能耗這邊也有一條階梯 同樣是單用戶口徑 主流H100整機 每生成一個token 大約燒掉10到30焦耳 這個數也是估的 不是量的 化成機房裏 真正跑的批量口徑 公開文獻給出的實測值要低 1到2個數量級 Tolus報的是0.015焦耳 你現在肯定想拿17000去除一下前面那幾個數 別除 那個除法Tolus自己做過 分子是他內部跑出來的成績 分母是對H200的粗略估算 一萬七千這個數只有兩個地方出過 Tolus自己的實驗室和他掛在網上的演示頁 換一臺機器換一個組織重跑一遍 沒有 0.015那個數更繞，它壓根不是量出來的 它是推出來的 一個2500瓦的機架插十張卡按峯值吞吐量 線性攤下去攤出這麼個數峯值狀態 機架接上電以後牆上到底吃掉多少瓦 沒有人拿儀表量過 MLPerf是行業公認的那套跑分 標準化環境上下文長度卡死由獨立組織盲測 HCE一份都沒交過，沒有一個數字經過獨立盲測 讀題和昇騰混着壓，連着跑幾天 這種第三方測試也一份沒有 HCE在真實生產裏能吐出多少token還是個黑盒 就算這兩個數一個字不差 他們也是在某一組條件下量出來的 那組條件長什麼樣 才決定這顆芯片進機房之後還剩下多少 16960這個數 前提是屏幕前只有一個人 一個人問芯片答 後面沒人排隊 一顆一輩子只會跑一個模型的芯片 AMD為什麼要買雲廠商那邊的賬 是反過來計的 要把一張H200的錢賺回來 他們把幾百個人的請求 攢成一批，一次喂進去 單個人多等的那一下是故意讓出去的 讓出去換的是這張卡一刻不閒 批量堆到極高時單張H100或H200的總吞吐 等到每秒3000到5000個Token 16960量的是一個人等多久 3000-5000量的是一塊硅一秒鐘能餵飽多少人 兩個數衡量的不是同一件事 所以他調的不是H100內檔的130-500 他調的是把這些數直接當數據中心性能來讀的那個讀法 那一群人呢，那塊裸片815平方毫米 八十億個的權重，內存先佔掉位置 剩給片上內存的面積就那麼點 業內做架構分析的人估下來大概100-300兆 這100-300兆還不是空着的 每個人的對話緩存都得實時存在裏面 一句一句往上堆，上下文窗口因此壓得很窄 一批人估下來大概兩千到六千個token 一個人就吃掉這麼多 按這一塊內存的容量倒推 幾百個人的對話緩存同時壓進來 他接不住 他贏的是一個人的等待時間 輸的是一群人的總產出 碳浸金屬層的那個底座確實改不了 也刪不掉 但這個芯片身上還留了一層能換的東西 就在那同一塊100-300兆裏 劃出50-200兆 裝一層低秩微調權重 就是一層外掛 一個機架裏的一群HCE 靠快換這層外掛 法律、醫療、代碼補全三種活 同時接住底下調的 始終是那個被焊死的底座 而不是一顆芯片 同時接住幾百個人 換來換去 換的都是外掛 底座一天還夠用 這套賬就成立 哪天它不夠用了 機架裏那一群硅片 還值多少錢 換一個模型 重新做一次芯片 得花 在臺 積電 6-7nm 這一檔 從頭 做 一顆 全 定製 專用 芯片 那套光刻的掩模的版錢，也就是開模費是350萬美元 把設計和驗證一併算進去 一次流片的全部前期投入是550萬 這個數說的是從頭做那一顆，不是HCE換模型的價 他那是不從頭做，要換模型，只動頂上那兩層金屬 只定制金屬層這條路 ASIC 和 LSI Logic 早走過 照那些數據，這筆前期投入能壓掉六成六到七成五 落到HCE身上，換一個模型變體 大概130萬到180萬美元 單片裸片的物理製造成本才200到300美元 拿150萬美元留一款變體 一個芯片頂掉一張3萬美元的H200 買過100片省下的錢就把開模費全覆蓋了 100片這是在紙上算出來的回本點，不是已經發生的訂單 從錢上看開模費根本不是障礙 被押上去的是庫存和殘值 這本帳真正的分母是模型能活多久 Meta發布Llama 3.1 8B 是2024年7月，幾個月後3.2就出來了 接著3.3 而Block排到2026年8月才下架 發佈到下架兩年出頭 但那是平臺替他掛了接口的時間 不是他還扛著生產的時間 實證數據給出的阻力期短得多 12到18個月 雲廠商給英偉達GPU定的折舊是5到6年 憑什麼能攤這麼長？ 因為GPU什麼都能算 不跑AI還能去算流體力學 還能在二手市場賣出價 SCE沒有這條退路 底座一旦過時 二手價值瞬間歸零 剩下的是電子垃圾 所以這本帳必須按一到兩年攤 這不是說誰的財報上已經這麼記了 這是這套架構想在帳面上說得通 必須先答應下來的條件 答應了，機房裡推理芯片的身份就變了 買資產變成花耗材 來掏這筆錢的不是 Tesla 也不是 AMD 一次性買下上萬片的 是數據中心 模型架構要是在他們用 壞之前，先來一次大換代 這批歸一，一歸零 錢是數據中心出的 賣不掉只能當廢品銷毀的遊戲卡帶 被鎖死在一種算法上 最後論斤稱的礦機 90年代那批固定的神經網絡芯片 算的都是同一本帳 它們是三面鏡子 造不出 HCE 的結局 超類似那位創始人巴奕奇 上一家公司正是造通用 AI 芯片的 Tenstorrent 他也是那兒的創始人 他說他們找的就是拿靈活性做慘重代價 去換經濟性和速度的辦法 之前沒人敢進這個角落 因爲大家都覺得AI變化太 快，這麼幹風險極大 然後他自己接了一句 在某種程度上確實如此 這個想法對小模型來說確實很好 但如果AI模型還在不斷快速變化 這種戰略就值得懷疑 那AMD壓的是什麼 也是這上萬片硅和那個底座的壽命 還是說他買的根本就不是這顆芯片 AMD自己的貨正卡在一道工序上 臺積電的先進封裝CoWoS 是英偉達和AMD出貨的剛性瓶頸 據行業分析 2026年這道工序的產能 近六成被英偉達定走 排隊要排52到78周 到一年半另一個卡口在內存 高帶寬內存的貨源就三家 SK、海力士、三星、美光 HBM3E的產能早賣光了 HCE這兩樣都不用 它就是一塊單片硅 好在臺積電6納米這個成熟節點上 產能有的是 AMD沒說這是他買的理由 但他確實要把這東西裝進 Helios 機架 跟自家的InstinctGPU EPYC CPU並排跑 兩件事都是真的 怎麼連你自己連 還有一句話 在收購之前 那是2026年7月23日 一份與Cerebras的合作公告 AMD首席執行官蘇志峯在裏面說 推理工作負載日益增長的多樣性 需要一種更爲靈活的方法 兩個星期之後 AMD宣佈收購TALOS 那AMD到底買了什麼 買的是一個賭注 外加一支團隊 這個賭注的前提從來沒藏着 前沿基礎模型的架構已經收斂到可以焊死 爲了省電靈活性可以犧牲 所以這筆錢壓的就是一件事 架構會停下來 團隊那邊分析師和 The Register 這些媒體的賭法是人才收購外加一張期權 按這個賭法這一筆錢買的是兩種未來 架構要是真穩下來 AMD手裡握的就是最高效推理硬件的核心知識產權 要是這條路線走死 這批架構師也能進AMD自己的 Instinct 的部門 交易預計2026年第四季度才完成 但還沒過門 可編程性那邊站了誰 英偉達 YARIS TV的凱勒 和他的 Tenstorrent 還有AMD自己的 Instinct 部門 他們認定AI還在混沌創新期 只能靠可編程的核心接口 同一家公司兩邊都放了錢 這就是期權輸的條件 漢斯這一邊自己寫下來了 未來兩年裏 Mamba 或者別的非 Transformer 架構 要是掀翻了 Llama 系列的主導地位 這一邊全軍覆沒 那輸了會怎麼樣 業內普遍估計，AMD付了顯著溢價 所以輸得起，說的不是買的便宜 是這筆錢擺在近七千九百八十八億美元的市值旁邊 不算大數 回到那顆芯片 一輩子只跑一個模型 改不了，刪不掉 這東西很荒唐 放進這場賭局裏 它是標的物 而這塊被壓上的籌碼 自己跑得多快 多省電 至今沒有一次獨立盲測 賭注下在明處 標的物還在黑盒裏