一位研究人員僅用 1.5 小時就從頭訓練了一個小型 Transformer，其在 ARC 基準測試中的表現超越了許多大型語言模型。這項結果證明，無需依賴龐大的預訓練模型，也能高效地解決複雜的推理任務。 這項發現挑戰了當前擴大模型規模和計算量的主流趨勢，顯示出高效且針對特定任務的架構足以與通用大型語言模型競爭。它為那些訓練大型模型成本過高的資源受限環境提供了一個可行的替代方案。 該模型在提交後從頭開始訓練，確保未使用合成數據或離線預訓練。這一嚴格約束確保了與其他可能利用 ARC 類似數據集進行大量離線訓練的模型之間的公平比較。

事件背景

抽象與推理語料庫（ARC）是一個旨在衡量 AI 技能習得及向人類級智能邁進的基準測試，其特點是「對人類簡單，對 AI 困難」。傳統上，要在 ARC 上獲得高分需要大型語言模型或具有大量訓練計算量的複雜架構，這使得較小的模型難以競爭。

社群觀察

作者澄清該模型並非大型語言模型，而是從頭訓練的小型 Transformer，強調複雜問題無需大型模型即可解決。社區成員讚賞其嚴格的無離線訓練規則，這防止了模型通過對類似數據集進行大量預訓練來刷高分。