自動化管理顯存分配以解決衝突
Berth 作為一個系統服務運行,主要功能是監控顯示卡狀態並根據需求載入或卸載不同的 AI 引擎。其核心設計理念是讓每個引擎在執行期間能完全獨佔顯示記憶體(VRAM),消除因其他程序殘留佔用而導致的資源浪費。
開發者提到,在 Linux 系統中常遇到 Node.js 程序成為孤兒進程,或 ComfyUI 自動啟動後佔用約 500MB 顯存卻無法被其他工具(如 Strata)釋放的問題。Berth 透過集中管理這些資源,避免了手動切換引擎時需確認前一個模型是否已完全卸載的繁瑣步驟。
支援多引擎與多設備共用單張顯卡
該工具允許使用者在同一張 RTX 4090 顯卡上,於不同時間點切換使用 Ninfer-4090 (llama-swap)、Strata、ComfyUI 和 OpenWebUI 等多種引擎。這種機制使得單一硬體資源可以被多個應用場景輪流利用,例如白天進行互動式工作,夜間則自動運行 Hermes 等背景任務。
Berth 不僅限於本地端操作,還提供 API 服務功能。當需要切換至特定引擎時,使用者可將 Berth 作為 API 端點載入,進而調用 Strata、Polystrata 或其他自定義引擎。這使得不同設備或應用程式能透過標準介面存取同一張顯卡的計算資源。
遊戲與自定義工作流的資源隔離
除了 AI 推理任務,Berth 也適用於遊戲場景。它能防止 Cron job、網路請求或其他背景程序在遊戲進行中意外佔用顯示卡資源,確保遊戲效能不受干擾。
對於執行自定義工作流的使用者而言,此工具提供了完整的可見性與控制權,能清楚記錄何時執行了哪些操作。這種設計讓使用者無需擔心因舊工作流殘留的 Flux GGUF 模型佔用顯存而影響新任務的啟動。



