ByteDance 宣布戰略轉變，將獨立開發下一代 AI 模型，特別是不依賴其他大型模型的知識蒸餾。此決定脫離了業界常見的將現有強大模型作為教師來訓練較小學生模型的慣例。此舉意義重大，因為它挑戰了 AI 生態系統中為提高效率與降低成本而廣泛依賴模型蒸餾的現狀。這顯示 ByteDance 致力於建立自有能力，並可能為大型語言模型的開發設定原創性的新標準。據報 ByteDance 正在一個擁有高達 10 兆參數的龐大 AI 模型的早期預訓練階段，其規模將是月之暗面（Moonshot AI）Kimi K3 模型的三倍以上。這種規模顯示其側重於原始運算能力和基礎學習，而非僅限於知識轉移。

事件背景

AI 模型蒸餾是一種技術，讓較小、更高效的「學生」模型學習模仿較大、較複雜的「教師」模型。此過程使開發人員能夠部署速度更快且所需運算資源較少的模型，同時保留原模型的大部分效能。它已成為業界標準做法，以使 AI 更易於存取且負擔得起。

社群觀察

社群意見兩極，部分用戶讚賞此舉是回歸真正的開源價值，另一些人則認為蒸餾是標準且必要的做法。有些評論幽默地表示 Anthropic 令人困惑的輸出其實是防禦蒸餾的手段，突顯了關於模型原創性的持續爭議。