Hugging Face 部落格文章指出，在相同的 GPU 叢集中，僅透過調整工作負載的執行順序，即可使利用率提升 33 個百分點。這項發現強調了任務排序對於在不增加硬體資源的情況下最大化效能的重要性。

由於效能提升僅來自於操作順序的改變，底層硬體和工作負載類型保持不變，這證明透過軟體層級的排程調整而非昂貴的硬體升級，也能獲得顯著的效能提升。此優化為機器學習工程師提供了一種實用的低成本策略，以改善叢集吞吐量並降低營運成本。

此外，這表明靜態或簡單的排程演算法可能因資源競爭不佳而浪費了潛在的效能。

事件背景

GPU 叢集利用率衡量計算資源的使用效率，空閒時間代表浪費的金額與容量。在機器學習基礎設施中，工作負載通常具有突發性到達和異質性的資源特徵，使得排程變得複雜。有效的管理對於在最小化成本的同時滿足延遲敏感的服務等級目標至關重要。