OpenAI 透露,目前 80% 至 90% 的研究資源正集中投入於開發 GPT-7 與 GPT-8。這些龐大的尖端模型將作為教師模型,透過知識蒸餾技術,將其能力轉移至體積更小、成本更低的消費者用模型。

此策略揭示了當前人工智慧服務的經濟模式:利用昂貴的尖端模型來訓練平價的學生模型。這不僅突顯了對運算效率的重視,也暗示只有擁有豐富運算資源的實體,才能直接接觸到最新的尖端能力。

該方法涉及將知識從 GPT-7 和 GPT-8 等龐大模型中蒸餾至更小、更高效的系統。此流程讓開發者能以較低的成本提供高階智慧,但高度依賴於存在更優越的教師模型。

事件背景

知識蒸餾是一種機器學習技術,其中較小的模型(學生)學習模仿較大、較複雜的模型(教師)的行為。這使得學生模型能在推論時消耗顯著較少的運算資源,同時保留教師模型的大部分效能。OpenAI 的策略利用這一點,透過不斷升級教師模型來維持競爭優勢。

社群觀察

社群成員普遍認為此策略合乎邏輯,指出昂貴的尖端模型是蒸餾出大眾可負擔版本所必需的。部分用戶擔心,開放權重實驗室可能因依賴從 OpenAI 專屬教師模型中蒸餾知識,而非使用自有模型,而在競爭中落後。