Mohamed Moustafa 指出,OpenRouter 的自動提供商路由功能可能導致模型行為不一致。由於不同後端提供商運行的服務軟體具有不同的優化與設定,相同的 OpenRouter 端點可能會產生行為迥異的模型請求結果。
具體問題包括:部分提供商可能缺乏視覺模型所需的視覺能力,且處理「推理努力」(reasoning effort)選項的方式也可能不同。這些非直觀的不一致性可能影響生產環境中 LLM 應用程式的輸出品質與功能。
為提高可靠性,開發者可透過 `provider.only` 選項來控制路由至特定提供商。此外,可利用 `/endpoints` 方法查詢特定模型 ID 可用的提供商列表,以輔助決策。
事件背景
OpenRouter 是一個聚合多個 LLM 提供商的 API 閘道器,允許開發者透過單一端點存取各種模型。其自動路由功能旨在透過為每個請求選擇最佳的後端提供商來優化成本和可用性,但這種抽象化可能會隱藏服務軟體差異等實作細節。



