一種新方法利用小型的 Jeff-Qwen3.5-0.8B 模型搭配九個專用 LoRA 適配器來路由決策，聲稱比 Qwen3.8-27B 等大型模型快 38 倍且準確率提升 8.7 分，同時額外記憶體佔用低於 2 GB。 這種方法提供了一種實用的「系統一」路由架構，能顯著降低本地大型語言模型部署的推理延遲和成本，同時在提示注入檢測或工具選擇等特定領域中不犧牲準確率。 基礎模型保持不變以保留通用的零樣本能力，每個 LoRA 適配器則使用基礎模型 10% 的數據進行訓練以維持通用技能，並根據任務動態加載（每個約 40 MB）。

事件背景

LoRA（低秩適配）是一種通過僅更新少量參數來高效微調大型語言模型的技術，允許在單一基礎模型上交換多個專用適配器。「系統一」思考指的是快速、直覺的決策，與較慢的分析性「系統二」形成對比，該架構通過使用小型模型進行快速路由和大型模型處理複雜任務來模擬這一過程。

社群觀察

社區成員對準確率提升的統計顯著性提出疑問，由於數據集較小，建議計算信賴區間，並強調了量化後可能出現的校準漂移問題。