一位開發者在週末僅花費十美元,利用大型語言模型自動分類與標籤化,為五十萬個創客網域建立了一個搜尋引擎。該系統運作流程包含爬取網站內容,並透過 Vast.ai 租用 RTX 4090 GPU 資源來運行 vLLM 模型。系統會為每個網站生成名稱、簡短描述、分類及標籤,並僅儲存 1KB 的元資料。作者計畫將程式碼開源,強調此方法在計算與儲存上的高效性。此專案展示了一種低成本的方法,可在不依賴傳統搜尋演算法的情況下,對小眾網站進行索引與發現,解決了主流搜尋引擎常將高品質小眾網站埋沒的難題。

事件背景

隨著網路規模擴大,搜尋引擎傾向於優先顯示商業網站與經過搜尋引擎優化(SEO)的內容,使得網路發現變得困難。語意搜尋與大型語言模型提供了理解頁面內容的新方法,能夠更好地分類傳統關鍵字比對可能遺漏的非商業或小眾專案。

社群觀察

社群成員讚賞使用大型語言模型進行自動標籤化的高效性,其中一位使用者分享了結合 Derek Sivers 列表與 Claude 的類似工作流程。其他人則指出租用 GPU 進行批次處理的技術可行性,但也有人對結果的精確度或相關性表示懷疑。