冷門遊戲規則問答的準確度比較

該 Reddit 使用者建立了一項個人基準測試，要求模型回答《Anno 1602》這款 1998 年遊戲中複雜且易混淆的規則與版本差異。測試條件嚴格禁止使用網路搜尋功能，以強制模型僅依賴訓練參數中的知識進行回答。

在六款受測模型中，Nemotron 3.5 Super VL 120B-A12B 表現最佳，雖然仍出現將市民轉為商人時幻覺出「鹽」作為交易品、遺漏定居者所需的教堂、以及遺漏商人和貴族所需地標等錯誤，但整體準確度遠高於其他模型。

相比之下，Gemma 4 31B IT QAT 遺漏了過多升級要求細節；DeepSeek v4 Flash Vision Exp 幻覺出不同的升級條件；Qwen3.5-122B-A12B、Qwen3.8-flash-next 與 GPT-OSS 120B 則均出現對遊戲版本和升級要求的嚴重幻覺。

該使用者認為，從其他模型的完全錯誤到 Nemotron 僅有細微錯誤的差距，顯示其在處理冷門知識時具有顯著優勢。

硬體配置與推論效能數據

測試使用的硬體環境為兩張 RTX 5060 Ti 16GB 顯卡，搭配雙通道 DDR5-6000MHz 記憶體。推理引擎採用 llama.cpp 0.7.0 版本，並啟用 Vulkan 後端與層分割技術，但未使用多令牌預測（MTP）功能。

在此配置下，Nemotron 3.5 Super VL 120B-A12B 的生成速度約為每秒 8 至 10 tokens，處理輸入的速度則約為每秒 150 至 170 tokens。該使用者指出此效能表現使其認為值得保留該模型。

測試中各模型均使用不同的量化格式以適應硬體限制：Nemotron 3.5 Super VL 使用 NVFP4；GPT-OSS-120B 使用 MXFP4；Qwen3.5-122B-A10B 使用 Q4_K_S；Qwen3.8-flash-next 使用 Q4_K_XL；DeepSeek v4 Flash Vision Exp 使用 Q2_K_XL；Gemma 4 31B IT QAT 則使用 QAT 與 MTP（Q4_0）。

所有模型檔案均來自 Hugging Face 上的 unsloth 或 bartowski 等發布者提供的 GGUF 格式權重。