該文章探討利用 gzip 壓縮率來分類文本並解決 MNIST 等機器學習任務，證明經典壓縮演算法能有效充當語言模型。此方法利用資料壓縮與模式識別之間的根本聯繫，以極少的程式碼實現了具競爭力的結果。該方法涉及將測試檔案與各種特定領域的參考文本進行壓縮，並分配給產生最小壓縮大小的參考文本標籤。雖然有效，但最佳位元組序列的搜尋空間龐大，意味著 gzip 提供的只是效能的下界，而非窮盡搜尋。

事件背景

演算法資訊理論（AIT）主張物件的複雜度與能產生該物件的最短程式長度有關。在此脈絡下，優秀的語言模型透過尋找模式來預測下一個位元組，這與資料的壓縮效率直接相關。Gzip 使用 DEFLATE 演算法，結合 LZ77 和霍夫曼編碼，來實現這種壓縮。

社群觀察

社群成員確認 gzip 可透過參考檔案對文本主題進行分類，並引用了 Witten 團隊的研究。其他人則提到了 3Blue1Brown 影片中的理論支持，並討論了 gzip 僅搜尋可能序列空間的一小部分，因此僅能提供準確率的下界這一限制。