Swiss AI 團隊於 2026 年 10 月 15 日發布了 Apertus 1.5,這是對其 8B 和 70B 參數規模的 Apertus 1.0 模型的持續預訓練更新。該模型於 2026 年 7 月 24 日以 Apache 2.0 授權條款在 Hugging Face 上發布權重。Apertus 1.5 的主要增強功能包括:原生多模態理解(接受圖像和音訊,其中音訊處理功能目前仍處於實驗階段)、可選的思考模式(用於提升推理問題表現)、上下文視窗擴展至 262,144 個 token(較 1.0 版本增加 4 倍)、改進的指令遵循能力、更好的工具使用能力,以及更強地遵循 Apertus 憲章的價值觀。
在訓練數據方面,8B 模型增加了 4 萬億個 token 的文本和多模態訓練數據,70B 模型增加了 2 萬億個 token,總訓練數據量分別達到 19T 和 17T。多模態採用早期融合方式,圖像使用 Emu3.5 標記器(512×512 圖像轉為 1,024 個 token),音訊使用 WavTokenizer(每秒 40 個 token),僅擴展詞彙表而不改變架構,因此訓練速度與純文本相同。模型能理解圖像和音訊,但僅生成文本。
預訓練分為四個階段:無配對數據(學習新模態)、配對數據(對齊語言)、冷卻階段(高質量數據,包含更多數學和代碼)以及長上下文擴展(從 8k 逐步增長到 262k)。超過一半的訓練 token 為純文本,以保留語言能力。後訓練分為五個階段:SFT、長上下文 SFT、RL(可驗證獎勵)、DPO 和憲章對齊(SDPO)。
評估結果顯示,Apertus 1.5 在編程和指令遵循方面顯著改進,8B 模型在指令遵循和多語言任務上優於同規模開放權重模型。思考模式進一步提升了在 AIME 等推理密集型基準測試上的表現。多模態性能接近 Gemma 4 12B 和其他當前開放權重模型,在空間理解和文檔/圖表理解方面具有競爭力。在法律任務和機器翻譯方面,Apertus 1.5 8B 表現與領先開放權重模型持平,翻譯能力匹配 GPT-OSS-20B 並優於 Claude Haiku 4.5 或 Google Translate。
Swiss AI 與 EvalEval Coalition 合作,使用 Every Eval Ever (EEE) 架構發布評估結果,確保透明度和可重複性。所有訓練配方、消融實驗和數據混合均在技術報告中記錄,中間檢查點和數據集也在 Hugging Face 上提供。
事件背景
Apertus 是一個完全開放的模型計畫,強調開放權重、開放數據、開放價值觀和完整的訓練細節。Swiss AI 團隊在 Hugging Face 上的分析數據顯示已達到五百萬次下載。在最近的 AI+X Summit 上,團隊宣布了 Apertus 2.0 的路線圖,包括稀疏/MoE 架構、約 600B 總參數、擴展的訓練計劃,並優先考慮代理、數學和編程。Proton Lumo 和 Infomaniak Euria 等應用已整合 Apertus 1.5,Swisscom、Infomaniak 等供應商也宣布了 API 訪問。



