TinySearch v0.6.1 是一款針對本地大語言模型(LLM)設計的輕量級網頁研究工具,透過 Chrome DevTools Protocol (CDP) 新增了「自帶瀏覽器」支援。使用者現在可以利用自己的瀏覽器設定檔進行網頁爬蟲作業,這顯著提升了在對新無頭 Chromium 會話限制較多的網站上繞過機器人偵測的能力。

此版本將搜尋與網址抓取功能分離以優化效能並降低資源消耗:搜尋功能設計為快速且低耗,而抓取功能則能同時處理多個網址。TinySearch 的核心運作方式保持不變,它利用 BM25 和本地 ONNX 嵌入技術來過濾和總結內容,無需依賴外部大語言模型進行中間處理。這為小型模型管理上下文視窗提供了一種輕量且具成本效益的解決方案。

事件背景

BM25 是一種搜尋引擎使用的排名函數,用於根據查詢詞彙評估文件的相关性;ONNX(開放神經網路交換)則允許嵌入模型在不同硬體上高效運行。Chrome DevTools Protocol (CDP) 允許外部工具與 Chrome 瀏覽器進行通訊和控制,從而實現進階的爬蟲功能。

社群觀察

社群討論中,有成員擔心免費網站會因機器人流量增加而關閉;其他人則對使用 CDP 建構自訂網頁搜尋工具感到興奮。整體而言,社群普遍有一種希望保持此類輕量技術私密性以維持其有效性的心態。