一位 Reddit 使用者提出了「代理編程指數」（Agentic Coding Index），旨在透過整合多個基準測試的得分，並根據模型參數數量進行調整，來計算大型語言模型（LLM）的「智慧密度」。此指標設計初衷是為了超越單純的排行榜排名，透過非線性公式懲罰僅能勉強編寫程式的小模型，同時獎勵具備真正自主掌控能力的模型。

該指數的計算公式包含一個 2.5354 的非線性指數以及 8B 的參數下限，以防止小模型在得分中佔據優勢。指數權重涵蓋了多個基準測試，包括 DeepSWE v1.1（20%）、Code Arena Elo（20%）以及多個 Terminal-Bench 版本，確保對代理能力的全面評估。

此指標透過平衡原始基準表現與模型大小，提供了更細緻的 AI 效率視角，協助開發者評估模型效率，並找出適合代理編程任務的高性價比模型。它突顯了參數數量、稀疏性與運算資源之間的權衡，這些因素對於在生產環境中部署 LLM 至關重要。

事件背景

LLM 基準如 SWE-bench Pro 和 LiveCodeBench 用於衡量模型解決現實世界軟體工程任務（如除錯和程式碼生成）的能力。智慧密度是指相對於模型大小（參數數量）所具備的能力總量，這是決定推論成本和延遲的關鍵因素。代理編程涉及能夠使用終端等工具自主規劃、執行和迭代程式碼的模型。

社群觀察

社群成員指出，由於閉源模型的參數數量不可靠或未公開，計算前沿模型的本指標具有挑戰性。此外，使用者強調，考慮稀疏與密集架構時，每美元、每瓦特或每秒的智慧密度等實際優化指標往往比純智慧密度更具相關性。