Telperion 宣布發布 Qwen3.8-27B 的潛在注意力（Latent Attention）變體，包括 Qwen3.8-27B-MLA 與 Qwen3.8-27B-GLA-g2。這些變體透過將 KV 快取壓縮 4 倍（量化校準至 FP8 KV 快取），在消費級硬體上可實現近 4 倍的最大上下文長度增加，或在伺服器硬體上實現近 4 倍的並發量提升。
根據官方發布的數據，Qwen3.8-27B-MLA 變體在 SWE-bench Verified（零樣本、無工具、n > 1500）測試中達到 42.1% 的成績，較原始 Qwen3.8-27B 的 39.5% 有統計上可區分的 +6.58% 提升。表格數據顯示平均輸出 Token 數量為原本的 0.88 倍。此外，開發者宣稱該變體使用少於 20% 的推理 Token（upwards of 20% fewer reasoning tokens）。需注意，原文宣稱的「推理 Token 減少」與表格中列出的「平均輸出 Token」數據（0.88x，即減少 12%）可能存在定義差異或數據來源不一致，兩者不應直接混同解讀。Qwen3.8-27B-GLA-g2 變體則針對雙 GPU 用戶設計，採用兩組群組潛在注意力以克服 MLA 在多 GPU 設備上的記憶體劣勢，在 SWE-bench 測試中成績為 39.4%，平均輸出 Token 為 0.86 倍，但在 TP=1 和 TP=2 設定下均能維持 4.00 倍的 KV 壓縮率。
此外，Telperion 提供了後訓練量化配方，宣稱其量化版本在保真度上超過同等大小的 .gguf 量化版本。具體量化數據如下：BF16 記憶體佔用 55.7GB；FP8 佔用 31.5GB，Top-1 不一致率增加 0.06%；INT4 佔用 22.9GB，不一致率增加 0.17%；EXL3-4.0bwp 佔用 17.2GB，不一致率增加 0.46%（需自定義 vLLM 插件）。該插件已在 RTX PRO 6000、H100 及 2x RTX 5060Ti 16GB 上驗證。
事件背景
Telperion 表示其方法無需重新訓練（zero-retraining），且相容於幾乎任何使用群組查詢注意力（GQA）或類似變體的模型。該團隊承諾將很快開源其方法，並計劃在獲得更多算力後推出包含完整基準測試套件的改進版 V2。此外，他們計劃在 Qwen4-27B 發布時推出稀疏潛在注意力變體。有興趣追蹤研究、學習或進行研究的人員，可透過加入其 Discord 伺服器與團隊聯繫。
