Mistral AI 發布時間序列基礎模型 Timestral 並釋出原始碼

Mistral AI 發布了名為 Timestral 的時間序列基礎模型家族，專為零樣本預測（zero-shot forecasting）設計。該模型家族提供 5M、28M、123M 及 209M 參數版本，其中 209M 參數版本的檢查點已發布於 Hugging Face。Timestral 支援單變數與多變數預測，並能處理僅過去可用的協變數（past-only covariates）及已知未來的協變數（known-future covariates），這些協變數可以是數值型或類別型（類別型協變數會進行目標編碼）。模型輸出涵蓋 21 個分位數（從 0.01 到 0.99）的機率預測結果。

在架構方面，Timestral 採用基於 Patch 的 Transformer 架構，結合時間注意力（time attention）與變數注意力（variate attention），包含 24 層網路結構，嵌入維度為 768。每個 Patch 涵蓋 32 個時間步長，並從其數值及缺失值指標進行嵌入。模型接受高達 32,768 個歷史時間步長（即 1,024 個 Patch）作為上下文長度。在預測範圍上，模型能在單次前向傳播中預測多達 1,024 個時間步長（即 32 個 Patch）；若需更長的預測範圍，則採用區塊式預測方式，將每個區塊的中位數預測結果附加到上下文中繼續預測。缺失值以 NaN 標記。推理支援在 CPU 或 GPU 上使用 PyTorch 執行。Mistral 已在 GitHub 發布原始碼，以便於運行 Timestral 並重現其基準測試結果。