Fireworks AI 推出訓練平台,支援兆參數全參數訓練

Market Whisper

Fireworks AI訓練平台

Fireworks AI 發布 Fireworks Training 預覽版,將公司定位從純推理基礎設施提供商擴展為「訓練+部署」一體化平台。這家由前 Meta 工程師、曾參與構建 PyTorch 的林喬(Lin Qiao)創立的 AI 基礎設施公司,目前估值達 40 億美元,日處理 token 量已達 15 萬億。

三層訓練架構:從無代碼操作到研究級自定義全面覆蓋

Fireworks Training 的三層架構針對不同技術背景的使用者設計,使產品團隊、ML 工程師與研究人員均可在同一平台完成訓練到部署的完整流程:

三個服務層級的功能定位

Training Agent(無代碼層):面向無 ML 基礎設施的產品團隊,描述任務、上傳數據即可完成端到端流程,目前支援 LoRA 微調

Managed Training(工程師層):面向 ML 工程師,支援 SFT、DPO 及強化學習微調,包含全參數訓練能力

Training API(研究層):面向研究團隊,可自定義損失函數與訓練循環,支援 GRPO、DAPO 等強化學習演算法

全參數訓練規模跨度顯著——從單節點 Qwen3 8B,到 64 塊英偉達 B200 GPU 上的萬億參數模型 Kimi K2.5,涵蓋當前主流開源模型的完整規模範圍。

三大客戶案例:生產環境的可量化效能數據

Fireworks AI 的現有推理客戶中,已有三家頭部 AI 應用完成了前沿強化學習訓練並公開具體效能數據。

Vercel:為程式碼生成產品 v0 訓練了自動修錯模型,無錯誤程式碼生成率達 93%,在同等條件下 Claude Sonnet 3.5 僅為 62%;端到端延遲較此前使用的閉源模型改善達 40 倍。

Genspark:對萬億參數開源模型 Kimi K2 進行強化學習微調,以構建深度研究代理。工具調用量提升 33%,推理成本降低 50%。

Cursor:在全球 3 至 4 個集群上以分佈式方式完成 Composer 2 的強化學習訓練,目前在 CursorBench 排名第一,並實現訓練與生產推理共享同一 GPU 資源池。

核心技術差異:訓練與推理的數值一致性

Fireworks AI 強調的技術差異化核心在於訓練與推理之間的「數值一致性」。對於 MoE(混合專家)模型,隱藏狀態的微小數值偏差可能在專家路由決策中產生級聯放大效應,導致訓練環境中學習到的模型行為在推理時無法完整複現。

Fireworks 為所有支持的模型公佈訓練與推理之間的 KL 散度數值,所有模型均低於 0.01,提供可量化比較的一致性基準,使開發者能夠評估模型在從訓練遷移至生產部署時的行為穩定性。

常見問題

Fireworks AI 是什麼公司?

Fireworks AI 是一家 AI 推理基礎設施公司,由前 Meta 工程師林喬(Lin Qiao)創立,曾參與構建 PyTorch。公司當前估值達 40 億美元,日處理 token 量為 15 萬億,核心客戶包括 Cursor、Vercel、Genspark 等主流 AI 應用。

Fireworks Training 的三層架構分別適合哪類用戶?

Training Agent 面向無 ML 基礎設施的產品團隊(無代碼操作);Managed Training 面向 ML 工程師(支援 SFT、DPO 及強化學習全參數訓練);Training API 面向研究團隊(可自定義損失函數與訓練循環,支援 GRPO、DAPO 等演算法)。

為什麼 Fireworks AI 強調 KL 散度低於 0.01?

KL 散度衡量訓練與推理環境之間的數值偏差,偏差越大代表模型在部署後行為越不穩定。對 MoE 模型尤為關鍵——微小偏差可能放大至路由決策差異。Fireworks AI 通過公佈可量化指標,使開發者能夠客觀評估模型從訓練到部署的一致性品質。

免責聲明:本頁面資訊可能來自第三方,不代表 Gate 的觀點或意見。頁面顯示的內容僅供參考,不構成任何財務、投資或法律建議。Gate 對資訊的準確性、完整性不作保證,對因使用本資訊而產生的任何損失不承擔責任。虛擬資產投資屬高風險行為,價格波動劇烈,您可能損失全部投資本金。請充分了解相關風險,並根據自身財務狀況和風險承受能力謹慎決策。具體內容詳見聲明
留言
0/400
暫無留言