旨在防止資料污染的 Terminal Bench 3 全新基準測試已發布，並公開了 Anthropic Sonnet 5 等模型的測試結果。該基準測試排除了第三方評估框架的結果，以確保公平且一致的評估標準。透過使用訓練期間未見過的資料，此次發布提供了關於模型能力的最新見解，解決了 AI 產業日益嚴重的基準測試資料污染問題。它讓從業者能根據真實效能指標，將 Sonnet 5 等模型與 Luna 等較便宜的替代方案進行比較。該基準測試顯示 Sonnet 5 僅比 Luna 略勝一籌，而 Luna 的價格便宜 20 倍，這引發了對定價策略的質疑。此外，Opus 5.0 在另一套評估框架上得分為 43%，說明了結果會因所使用的評估工具不同而產生差異。

事件背景

訓練資料污染是指大型語言模型在包含特定基準測試答案的網路資料上進行訓練，導致效能分數虛高。為減輕此問題，研究人員會建立如 Terminal Bench 3 等全新基準測試，並將其排除在訓練資料集之外，以確保模型評估反映的是真正的推理與編碼能力，而非死記硬背。

社群觀察

社群成員正在討論 Sonnet 5 與 Luna 等較便宜模型相比的性價比，部分用戶指出其實際表現不佳。此外，大家也討論了第三方評估框架的可靠性，並擔心編碼模型的進步正在快速趨於飽和。