查詢介面與測試範圍限制

該網路空間預設顯示Hugging Face從Hub上下載量與趨勢分數最高模型中挑選的清單,列出執行結果、模型被分割(sharded)所需的Trainium核心數、包含編譯時間的實際運行時間以及峰值裝置記憶體。

若要查詢特定模型,使用者可切換至「Trending」或「Downloads」視圖並輸入名稱片段。這些視圖遵循Hub自身的排名順序,即使某些模型未被測試也會顯示;若模型被刻意排除,系統會說明原因(多數為未優先處理,少數為真正不相容)。

截至發布時,僅測試Transformers庫中的模型,且範圍限制在文字生成(text-generation)與圖文混合(image-text-to-text)任務。團隊計畫未來擴展至diffusers、sentence transformers及其他transformers任務。

如何自行重現執行環境

選擇特定模型後,介面會列出測試時使用的Neuron堆疊版本、需額外安裝的套件以及實際執行的run.py腳本。該腳本遵循TorchNeuron公告中的配方:使用from_pretrained載入模型(必要時進行分割),並透過靜態快取與torch.compile(backend="neuron")進行生成。

在Trainium2 (trn2)實例上,例如AWS Neuron Deep Learning Container環境中,安裝指定套件後執行python3 run.py即可。腳本會在模型需要分割時自動啟動torch.distributed ranks,無需手動使用torchrun指令。

首次運行會編譯模型圖形。若要跳過此步驟以節省時間,可從公開的NEFF快取儲存桶複製測試期間由相同編譯器建立的圖形,網路空間提供帶有正確編譯器版本的同步命令:hf buckets sync hf://buckets/aws-neuron/torch-neuronx-neff-cache/neuronxcc-<version> /tmp/neff_cache。

測試通過的定義與驗證方式

每項測試在trn2實例上載入模型,並將其分割至能容納權重的最小Trainium核心數。多數模型採用張量平行(tensor parallelism)進行分割;若混合專家(Mixture-of-experts)模型缺乏張量平行計畫,則僅使用專家平行(expert parallelism)。

測試接著生成32個詞元並進行檢查。在單核心情況下,生成的詞元會與同一權重在CPU上運行的結果進行比對。當模型被分割時,則由一個小型裁判模型檢查輸出文字是否為流暢的英文。

截至發布時,僅測試能裝入4顆Trainium2裝置(即最多16核心)的模型。標記為PASS仅代表在上述條件下生成結果通過驗證,並未對吞吐量或更長序列生成的表現作出任何保證。

數據集結構與程式化查詢

網路空間顯示的所有資訊均來自公開的aws-neuron/torch-neuronx-model-support數據集,每個neuronx-cc與庫版本的配對對應一個Parquet檔案。

每行數據包含模型的測試結果、失敗時的錯誤訊息、完整堆疊的版本資訊以及實際執行的run.py腳本。使用者可直接使用pandas讀取該數據集進行查詢,例如篩選特定模型ID以查看其neuronx_cc版本、庫版本、核心數與結果。

數據集的卡片(dataset card)詳細說明了每個測試結果欄位的確切含義,供開發者精確解讀相容性狀態。