一位開發者記錄了將大型 35kb 提示詞從 Anthropic 的 Opus 遷移至自託管 Ollama 執行個體時的挑戰，突顯了上下文視窗效率與推理速度的問題。這次經驗揭示了本地環境中預填時間與上下文膨脹方面的顯著效能權衡。這項分析對於建構本地 AI 應用程式的工程師而言至關重要，因為它展示了與雲端 API 相比，自託管環境中管理大型上下文時所面臨的實際痛點。它強調了為實現具成本效益且高效的 LLM 部署，優化上下文視窗與推理延遲的重要性。Ollama 預設使用 4096 個標記的上下文視窗，這需要覆寫 `num_ctx` 參數以支援較大的提示詞，若 KV 快取未正確設定大小，可能會耗盡記憶體。相比之下，Anthropic 的 Opus 4.6 支援 100 萬個標記的上下文視窗，能夠無截斷地處理包含整個程式碼庫等大量輸入。
事件背景
上下文視窗是指 LLM 在單一請求中能處理的文字（標記）最大數量。像 Ollama 這樣的自託管模型通常需要透過環境變數或參數手動設定此限制，而 Claude Opus 等雲端模型則提供大得多的預設視窗。推理速度，特別是預填時間，深受模型在記憶體中處理這些標記的效率影響。
社群觀察
社群成員就最佳提示詞大小展開討論，部分人認為 35kb 的提示詞對任何 LLM 來說本質上都是膨脹且低效的。其他人則分享了上下文膨脹導致預填時間過長的類似經驗，並建議使用 llama.cpp 或 headroom 等工具以更有效地管理上下文。
