開發者 jevman 發布了一個名為「jevman」的開源基準測試專案，讓六款流行的 AI 決策模型即時遊玩《吃豆人》遊戲以評估其效能。參與測試的模型包括 Jev 1.13、Kev 4B、Cloudflare Clef、Clef Flash、GPT-6 Luna 以及 Laya。由於這些模型的回應時間在毫秒級別，因此能夠進行即時遊戲互動。
該專案發布了公開排行榜，並提供開源程式碼庫，允許任何人運行自己的決策模型（例如本地運行或託管的微調模型）並加入排行榜。測試方法為讓每個模型執行 100 次遊戲，並計算平均分數，同時標註 95% 的誤差範圍（±2 標準誤差），這意味著部分模型在統計上可能並列榜首。
根據公布的數據，Jev 1.13 以平均分 2,750 分、最高分 6,380 分位居榜首，但其平均延遲為 290 毫秒。GPT-6 Luna 以平均分 2,568 分、最高分 5,920 分排名第二，平均延遲為 179 毫秒。Clef Flash 平均分 2,538 分，最高分 4,260 分，平均延遲 256 毫秒。Clef 平均分 2,476 分，最高分 4,820 分，平均延遲 398 毫秒。Kev 4B 平均分 1,506 分，最高分 5,280 分，平均延遲 231 毫秒。Laya 平均分 639 分，最高分 1,200 分，但擁有最低的 104 毫秒平均延遲。
此外，使用者也可以親自扮演《吃豆人》角色，讓這些決策模型扮演幽靈進行對抗。幽靈可以由單一型號（如全部 Jev、Clef、Luna 或 Laya）控制，或由不同模型混合控制每個幽靈。
事件背景
近期 OpenAI 發布了 decisions endpoint，Cloudflare 發布了 Clef，社群也詢問關於 Laya 的情況。此前，jevman 曾發布過 Jev 與 Kev 的比較內容。
社群觀察
社群用戶 geldonyetich 認為這是一個很好的證明，顯示決策模型在推理方面不僅僅是類似「Magic 8-Ball」的簡單工具。用戶 Cultured_Alien 指出 Kev 在相同參數規模下表現不佳，建議嘗試 LiquidAI/d1-3B。用戶 letsgoiowa 讚賞這是一個出色的基準測試，並希望看到具有極低延遲的新 LFM 模型加入測試。用戶 Known-Principle2306 詢問為何影片時間過短，希望能觀看更長時間。開發者 facethef 提供了 GitHub 倉庫連結及專案官網，歡迎回饋。
