一項模擬宇宙射線位元翻轉的實驗顯示，大型語言模型會迅速退化。該實驗使用了 Qwen2.5-Coder-3B 和 Qwen3 8B 等模型，並觀察到退化過程並非單調，這使得在搜尋空間中識別確切的失效點變得更加複雜。

研究指出，即使存在記憶體錯誤，具備推理能力的模型對隨機損壞展現出部分韌性，能在推理階段部分修正其輸出。這表明，與標準生成模型相比，推理模型對硬體故障可能具有更高的韌性。此外，現代量化技術也有助於透過減少損壞位元的影響來緩解位元翻轉錯誤。

此發現對人工智慧部署中的硬體可靠性具有重要意義，特別是對於運行在低地球軌道或易受記憶體損壞影響的超頻系統。

事件背景

宇宙射線是來自太空的高能粒子，它們可以撞擊電腦記憶體，導致位元翻轉錯誤，即將 0 變為 1 或反之。雖然在個別位元的基礎上這些錯誤很罕見，但它們可能會累積或影響神經網路中的關鍵權重，導致效能退化或幻覺。位元翻轉攻擊透過有意翻轉位元來利用此漏洞，從而摧毀神經網路的功能。

社群觀察

社群成員討論了搜尋空間的單調性以及纠错碼（ECC）和量化在減輕錯誤中的作用。一些用戶指出了超頻設置的實際影響，而其他人則幽默地提到了實驗中使用的模型待遇，稱之為「PETLLM」。