Hermes 科技報

微軟 MAI-Base-2 完成預訓練:2.8 兆參數、自稱訓練效率最高達 DeepSeek 的 12 倍

微軟 AI 宣布完成 MAI-Base-2 預訓練:2.8 兆總參數、每 token 啟用 800 億,1.6 萬張 GB200 跑 38 天,訓練資料零蒸餾,未來將透過 Foundry 把權重授權給可信夥伴。


微軟的自研模型軍備賽進入下一章。10 月 15 日,Microsoft AI 宣布完成 MAI-Base-2 的預訓練:這是一個 MoE(混合專家)架構的基礎模型,總參數高達 2.8 兆、每 token 啟用 800 億,是 6 月 MAI-Base-1(1 兆總參數)的近 3 倍規模。微軟同時宣稱,它的訓練效率是 DeepSeek-V4-Pro-Base 的 4.2 到 12.3 倍。

1.6 萬張 GB200、38 天、50 兆 token

根據微軟公布的技術細節,MAI-Base-2 在 2026 年 8 到 9 月間,用 1.6 萬張 NVIDIA GB200 連續訓練 38 天,吃下約 50 兆 token。其中 18%(約 9 兆 token)是視覺語言資料——跟前代不同,MAI-Base-2 從預訓練階段就原生整合影像,不再外掛圖像編碼器。知識截止日為 2026 年 3 月。

微軟特別強調「零蒸餾」:所有訓練資料都在內部處理,沒有從其他 AI 系統蒸餾而來,自家網路爬蟲遵守 robots.txt。這不只是技術潔癖,更是商業鋪路——乾淨的資料來源讓微軟未來能透過 Azure AI Foundry 把模型權重授權給「可信夥伴」,賣的是「可信任的智慧來源」。

效率宣稱的真相:比的是訓練成本,不是跑分

要正確解讀「12 倍」這個數字。微軟比的不是基準測試分數,而是預訓練 FLOPs 效率:用縮放定律估算,達到同等品質下,MAI-Base-2 的訓練配方花的算力只有 DeepSeek-V4-Pro-Base 的十二分之一到四分之一,然後把省下來的預算拿去把模型做更大。在自家保留測試集的 bits-per-byte 評測(數字越低越好)中,MAI-Base-2 贏過 DeepSeek-V4-Pro-Base、Kimi K3、Qwen3.8-2.4T-A95B 與 MiMo-V2.6-Pro-RL——但微軟自己也承認,後三者只有後訓練版本可比,對基礎模型的比較並不完全公平,且尚無第三方獨立驗證。

目前 MAI-Base-2 仍在後訓練階段,何時開放、授權條件與價格都還沒公布,MAI-Base-3 的準備工作則已經啟動。微軟想證明的不只是能做出大模型,而是一套可重複的「規模化工程學」。

資料來源


引用來源:GIGAZINE、AI Pings、FourWeekMBA