一位 Reddit 使用者（u/q-admin007）分享了其公司如何利用本地 AI 服務為 40 名員工（其中 10 名為開發人員）提供支援。該系統基於一台 4U 伺服器，配備 4 張 RTX 6000 Blackwell MaxQ GPU、384GB DDR5 記憶體及 AMD EPYC 9275F 24-Core CPU，總成本約 5.5 萬歐元。伺服器運行 Proxmox 虛擬化環境，每個模型或應用程式均在安裝了 CUDA 13.3、Debian 13 及 Driver 595 的 LXC 容器中執行。
主要功能包括： 1. **自動化與轉錄**：使用 n8n 進行自動化，結合 Whisper 和 Vexa AI 讓機器人加入 Microsoft Teams 進行會議轉錄，隨後由 n8n 提取決策和待辦事項。 2. **通用聊天介面**：部署 OpenWebUI 作為類似 ChatGPT 的網頁介面供所有員工使用，大部分代理功能已禁用，但允許透過 Tavily 進行網路搜尋。 3. **開發人員工具**：每位開發人員擁有透過 BiFrost（OpenAI 相容 API 路由器）使用的 API 金鑰，並擁有可安裝代理的本地 Linux 虛擬機。 4. **模型配置**： - 主模型：Deepseek V4 Flash，使用 vLLM 運行，GPU 利用率設定為 0.55，採用 TP4（張量並行 4 卡），支援 1M 上下文。 - 備用模型：Qwen 3.8 27B Q8，使用 llama.cpp 運行，支援 265K 上下文。 - 最小模型：K2-Horizon 7B Q6，使用 llama.cpp 運行，支援 64K 上下文。 5. **其他應用**：使用 ComfyUI 生成行銷圖片和影片；使用 Geofront/BGE-M3-GGUF:BF16 和 sinjab/bge-reranker-v2-m3-F16-GGUF 進行嵌入和重排序。
此外，該公司計劃部署一台配備兩張 RTX 6000 Blackwell MaxQ 的備用伺服器。
