直接操作權重取代傳統程式碼編寫

過去若要讓AI模型自主改進（Recursive Self-Improvement, RSI），通常需要透過一個複雜的流程：由智能模型撰寫PyTorch或Jax程式碼、執行計算、觀察損失曲線、閱讀評估結果，並優化Kernel與數據。

新的研究「Weight Space Programming」則提出了一種截然不同的路徑：直接詢問一個強大的LLM去讀取並編輯一個較弱模型的權重參數。這在機器學習領域中，等同於不看原始碼，而是直接檢視編譯後執行檔的1與0（針對極小模型），並能理解其功能、根據失敗軌跡修復錯誤，甚至從頭寫出整個網路權重。

技術原理與當前限制

這種能力被視為機制可解釋性（Mechanistic Interpretability）的一種變體。理論上，如果相信LLM在參數足夠多時能擬合並模擬一切事物，那麼這種能力的出現是必然的，但其突然顯現仍令人驚訝。

目前該技術主要應用於簡單遊戲和強化學習（RL）策略，尚未擴展到更先進的任務。儘管如此，這標誌著RSI能力從0到1的突破，由於其效率驚人，預計將被立即投入探索與應用。

社群反應與獨立重現

該論文由Alex Zhang等人共同撰寫，他曾在八個月前參與Karpathy關於自主研究的討論。目前已有獨立的實驗結果顯示此方法有效，證實了LLM確實能透過直接操作權重来改進模型表現。

這種方法被比喻為「單步修復錯誤」或「在50個步驟內朝一般方向改進」（原文註記此處可能存在誇大），甚至能一次性寫出整個網路權重並擊敗某些獨立訓練的模型。