Meta 於 2026 年 10 月 15 日發布了 Muse Spark Open，這是一個開放權重的多模態混合專家（MoE）模型。該模型總參數約 8160 億，每個 token 的活躍參數約 420 億，並具備高達 100 萬 token 的上下文視窗。Muse Spark Open 支援文字、圖像、音訊和影片作為輸入，並僅輸出文字，為開發者提供了一個處理多種輸入類型的統一介面。Meta 將此模型描述為迄今為止最強大的美國開放權重模型，並指出其專為代理式編碼（agentic coding）訓練，能夠讀取代碼庫、編寫與除錯代碼以及調用工具。此外，模型也能處理截圖、語音筆記或螢幕錄影等多模態輸入，以便在處理代碼任務時同時參考這些資訊。
在架構方面，Muse Spark Open 是 Muse 系列中的全尺寸模型，與 Meta 於 8 月發布的小型密集模型 Muse Glimmer 使用相同的分詞器和詞彙表。語言模型部分包含 62 層，隱藏維度為 8192，每層有 128 個查詢頭和 16 個鍵值頭（分組查詢注意力機制）。每個 MoE 區塊包含 256 個專家，路由器為每個 token 選擇 8 個專家。這些專家佔據了模型總參數的約 97%。由於每個 token 僅運行 8 個專家，模型計算每個 token 時僅使用約 420 億參數，但部署時仍需加載全部 256 個專家，因此需要相當於 8160 億參數模型的記憶體，但運行速度接近 420 億參數模型。
模型提供了 BF16 和 NVFP4 兩種檢查點格式。BF16 檢查點大小約 1.5 TB，在 transformers 庫中需跨 4 個節點共 32 張 H200 GPU 進行張量並行（TP=32）運行；NVFP4 檢查點則以 4-bit 精度存儲參數，精度損失可忽略不計，專為 NVIDIA Blackwell GPU 設計，可在單一 B200 節點上運行。模型還包含一個 18 億參數的感知編碼器用於處理圖像和影片，以及一個音訊編碼器，該編碼器每 80 毫秒產生一個音訊 token（即每秒 12.5 個 token）。上下文視窗在推理時設定為 100 萬 token，包含圖像、影片和音訊 token。
事件背景
Muse Spark Open 屬於 Meta 的 Muse 系列模型。該系列中的 Muse Glimmer 是一個小型密集模型，適合本地運行，與 Muse Spark Open 共享相同的分詞器和詞彙表。Muse Spark Open 的感知編碼器設計遵循 Meta 的 Perception Encoder 工作成果。模型支援的推理框架包括 transformers、llama.cpp、vLLM 和 SGLang。
