GitHub 專案 Livenerf 正使用確定性提示詞對 Anthropic 的 Opus 5.5 模型進行基準測試，以偵測發布後的效能漂移。此舉在 Hacker News 上引發了熱烈的社群討論，焦點在於近期的效能下降是否具有統計學意義，抑或僅是感知上的雜訊。
這很重要，因為大型語言模型供應商經常更新其基礎設施，常引發關於「削弱」或隱藏效能衰退的擔憂。實證追蹤有助於使用者區分實際的效能倒退與新模型發布時常見的「蜜月效應」。
Livenerf 採用長期運行且盡可能確定性的基準測試框架，以最小化測量變異。社群評論指出，Anthropic 每天進行數千次變更，這可能會導致內部測試覆蓋不足領域出現暫時性的效能倒退。
事件背景
在人工智慧產業中，「削弱」（nerfing）指的是模型在初始發布後效能似乎下降的現象，這通常是由於基礎設施更新、成本優化或採樣參數變更所致。Livenerf 透過隨時間運行固定提示詞來建立模型能力的縱向數據集，以解決此問題，其做法類似 Nerf Bench 追蹤與發布當日基準值的偏差。
社群觀察
社群意見兩極，部分使用者將感知到的效能下降歸因於「蜜月效應」或個人偏差，而其他人則舉出與回饋提示互動後立即出現品質下降的具體例子。大家普遍認為，同時追蹤效能提升與倒退能提供更平衡的模型穩定性觀點。
