據內部人士報導,OpenAI 已完成其下一代主要模型「Bel」的預訓練,該模型擁有超過 10 兆個參數。此模型緊接在「Doug」預訓練之後,被描述為基礎模型而非最終發布版本,旨在作為未來系統的基礎。完成 10 兆參數的模型標誌著運算規模與潛在能力的重大躍升,使 OpenAI 能夠與 Google 的 Gemini 和 Anthropic 的 Claude 等競爭對手抗衡。這暗示下一代 GPT 模型很可能將建立在此龐大基礎之上。
事件背景
大型語言模型(LLM)的訓練分為多個階段,首先是在大量文本數據上進行預訓練以學習語言模式,隨後針對特定任務進行微調。參數數量代表模型儲存知識和執行複雜推理的能力,較大的模型通常能提供更好的表現,但需要更多的運算資源。
社群觀察
社群分析指出,OpenAI 的內部預訓練階段可能領先其公開發布版本數個階段,並可能納入了如 Noam Shazeer 等研究人員的改進。然而,社群成員也在討論消息來源的可靠性,指出「Leo」之前關於 GPT-6 和 Mistral Large 4 發布日期的預測並未實現。儘管如此,許多人對潛在能力仍持樂觀態度,部分人猜測「Bel」可能是 Noam Shazeer 加入 OpenAI 後的首次預訓練成果。



