Simon Willison 重現了 Colin Frasier 先前使用 GPT-4o 進行的實驗，測試大型語言模型將加法結果以文字形式輸出的能力。Willison 在本地硬體（DGX Spark）上使用 Qwen3.8-27B-Q4_K_M.gguf 模型進行測試。當推理功能關閉時，模型在 5,070 次測試中的整體數值準確率僅為 23.57%（1,195/5,070）。然而，當啟用推理功能時，準確率大幅提升。由於推理模式顯著增加了每個配對的處理時間，Willison 將每個數字長度組合的樣本數從 30 個減少到 1 個。在這種單次嘗試的測試中，模型在 169 次嘗試中正確回答了 167 次。Willison 指出，由於這些是單次嘗試，第二次運行可能會產生不同的結果。報告中包含了部分較大計算的推理軌跡，顯示模型會逐步對齊數字並從右至左進行加法運算。
事件背景
Colin Frasier 兩年前曾在 Bluesky 上分享過一項實驗，測試 GPT-4o 在 increasingly large numbers 上以文字形式計算總和的能力。該實驗顯示 GPT-4o 在處理較小數字時準確率較高，但隨著數字位數增加，準確率顯著下降。Willison 認為 GPT-4o 並未使用計算器作弊，因為它犯了許多錯誤，因此他決定在完全受控的本地環境中重現此實驗，以探索推理功能對本地大型語言模型算術能力的影響。
