循環架構如何透過重複計算提升智能
Dory1.0-4B 的核心設計在於其 Looped (latent-recurrent) normalized-GPT 架構。與傳統一次性前向傳播的 Transformer 不同，該模型透過反覆應用一個共享的層區塊來處理輸入。
這種機制允許模型在每個詞元上投入更多的計算資源（compute per token）。NVIDIA 指出，這種設計旨在讓較小參數規模的模型也能擴展其智能表現，特別適用於需要深度推理但硬體資源受限的場景。
混合注意力機制與長上下文支援
在注意力機制方面，該模型採用了交錯的混合滑動視窗注意力（interleaved hybrid sliding window attention, SWA）與全注意力層。
模型支援 BF16 精度，並具備最高 256K 詞元的上下文長度。這意味著它能夠處理較長的文件或對話歷史，但來源僅標明支援語言為英文。
授權條款與發布資訊
該模型於 2026 年 10 月 16 日正式發布，並已在 Hugging Face 平台上架。根據官方說明，Dory1.0-4B-BF16 已準備好供商業或非商業用途使用。
其授權條款為 OpenMDW License Agreement, version 1.1。
