模型架構與參數規模

Kolibri-1 是由 Aleph Alpha Research GmbH 開發的混合專家（Mixture-of-Experts, MoE）推理模型。其總參數量為 781.03 億，但在處理每個 token 時，僅會啟用約 34.58 億個參數。

該模型採用 50 層 Transformer 架構，每層包含 384 個專家模組，其中 1 個為共享專家，6 個為路由專家。注意力機制結合了滑動窗口注意力（SWA）與分組查詢注意力（GQA），比例為 4:1。

訓練過程使用了 Muon 優化器與 Exact Quantile Balancing 技術，旨在提升模型在推理任務上的穩定性與效率。

語言能力與上下文處理限制

Kolibri-1 主要針對德語與英語進行優化，知識截止日期為 2026 年 6 月 18 日。模型支援顯式推理模式（Explicit Reasoning Mode）與工具呼叫（Tool Calling），適用於多步驟推理、檢索增強生成（RAG）及代理式應用。

技術規格顯示其上下文長度可達 1,048,576 tokens。然而，Aleph Alpha 建議在處理複雜任務時將上下文控制在 262,144 tokens 以內，以確保服務效率與推論品質。

模型採用 float8_e4m3fn 精度的權重，並搭配動態量化的啟動值與 FP8 KV Cache。嵌入層、語言模型頭部、正規化層及 MoE 路由器則使用 bfloat16 精度。

訓練數據構成與計算資源

預訓練階段使用了經過過濾的雙語語料庫，總計約 20 兆 tokens。數據組成中，英語佔比約 62.5%，德語佔比約 23.9%，程式碼佔比約 13.6%。這些數據結合了精選網路資料、合成改寫與翻譯內容，以及高品質來源。

除了預訓練外，模型還經歷了 3.44 兆 tokens 的中期訓練（Mid-training）與 2010 億 tokens 的長上下文擴展訓練。後訓練階段則結合了開源數據集與合成數據進行監督微調（SFT），並使用涵蓋推理、代理任務及指令遵循環境進行強化學習（RL）。

預訓練過程使用了 768 張 NVIDIA B200 GPU，耗時 21 天，總計算量約為 39.2 萬 GPU 小時。中期訓練與長上下文擴展分別額外消耗了 9 萬與 1 萬 GPU 小時。

硬體需求與授權條款

由於模型採用 FP8 權重，其記憶體佔用約為 78 GB。最低硬體需求包括兩張 A100 80GB、兩張 H100 SXM5、一張 H200、一張 B200 或一張 B300 GPU。

官方建議的配置為兩張 H100 SXM5、兩張 H200、一張 B200 或一張 B300，以獲得最佳效能。這些需求對應於上述列出的最低與建議配置。

Kolibri-1 採用 Apache 2.0 授權條款發布，Aleph Alpha 已簽署歐盟通用人工智慧（GPAI）行為準則。目前社群正在等待 GGUF 格式檔案的發布，以便在 llama.cpp 等本地推理引擎中運行。