Strata 開源工具讓消費級硬體能執行 125B 參數 Qwen 模型，社群回報 RTX 4090 可達每秒 124 Token
開源專案 Strata 允許使用者在配備 NVIDIA 或 AMD 顯示卡（需 12GB VRAM 以上）及 32GB 以上 RAM 的個人電腦上，執行擁有 1250 億參數的 Qwen3.8-Flash-Next 大型語言模型。該工具透過將模型權重分散至 GPU、系統 RAM 及 SSD，並結合投機解碼技術，使模型能在本地運行，無需依賴伺服器。官方測…
最新 AI 新聞
第 12 / 61 頁，依本站收錄時間整理（台灣時間），不代表原文發布時間。
Headstart 工具透過提前輸出元數據使 Rust 編譯與檢查速度提升最高達 54%
GitHub 專案「headstart」透過修改 rustc 和 cargo，允許依賴套件在依賴項完成完整類型檢查之前開始編譯，從而顯著縮短大型 Rust 專案的編譯時間。傳統上，Rust 編譯器要求每個套件必須等待其依賴項完全檢查完畢（包含函數主體）後才能開始，但 headstart 讓 rustc 在介面檢查完成時立即寫入早期元數據文件（.earl…
Simon Willison 倡導在 AI 與雲端服務中預設硬性預算上限
Simon Willison 主張按量計費服務應預設硬性預算上限，在達到上限時直接停止服務並回傳錯誤，而非僅發送警告郵件。他引用 AWS 於 2026 年 9 月推出的支出限制功能，以及 Google Cloud 於 2026 年 7 月推出的支出上限（Spend Caps）功能，指出這已成為業界趨勢。 隨著 AI 編碼代理和自動化服務降低了部署程式碼…
Meta 的 Muse 透過簡化隱喻與廣告資助模式取得成功
產品設計師 Mete Polat 撰文分析 Meta 推出的消費級 AI 代理產品 Muse 為何能登上美國 App Store 榜首。作者指出，Muse 的核心技術能力並非全新，而是將現有代理式 AI 組件（如瀏覽器操作、雲端工作流等）透過極簡設計重新整合。與 ChatGPT 或 Claude 等競品相比，Muse 移除了模型選擇器、複雜的切換開關及…
Anthropic 高層與宗教學者秘密會談：探討 AI 意識與道德地位
《紐約時報》報導，人工智能公司 Anthropic 的聯合創辦人 Christopher Olah 過去一年間，私下邀請來自世界各地的數十位宗教學者進行保密會議，探討其 AI 模型 Claude 是否具有意識及「道德地位」。這些會議要求參與者簽署保密協議，內容涉及將人類數百年來的道德智慧應用於 AI 訓練，以確保 AI 成為保護人類的正面力量。 報導…
從單張 RTX 3090 到 20 台 DGX Spark：家庭保險絲成為本地 AI 擴展的首個瓶頸
一位用戶分享了他從單張 RTX 3090 擴展至 20 台 NVIDIA DGX Spark（GB10）集群的本地 AI 基礎設施建設歷程，並指出家庭電路保險絲是早期擴展的主要限制。該用戶最初為了本地運行 LLaMA 33B 和 65B 購買了兩張 3090，後因 DeepSeek 671B 和 Qwen 235B 的需求升級至配備 512GB RAM…
首個大規模聯網汽車隱私研究：21 輛測試車中 19 輛透過 Wi-Fi 向第三方傳輸數據
東北大學（Northeastern University）的研究團隊與 Consumer Reports 合作，發表了首個針對聯網汽車生態系統的大規模測量研究。該研究於 2024 年 10 月至 2025 年 8 月期間進行，測試了美國市場上的 21 輛新款車型（涵蓋 19 個品牌）及 30 個配套手機應用程式。研究發現，21 輛受測車輛中有 19 輛…
SCM：macOS 本地優先的全媒體 AI 搜尋工具，支援照片、影片幀與對話檢索
SCM（Screen Memories）是一款開源的 macOS 應用程式，主打「本地優先」（Local-first）架構，無需帳號、雲端上傳，所有推論均在用戶的 Mac 上執行。該工具利用本地視覺模型、OCR 及語音辨識技術，允許用戶以自然語言描述記憶，搜尋資料夾中的每一張照片及每一幀影片。首次使用特定模型時需下載權重（如預設 CLIP 約 435M…
Cloudflare 徵求開發者打造下一代 Git 平台，Artifacts 開放測試並啟動競賽
Cloudflare 宣布其版本化檔案系統 Artifacts 進入開放測試階段，並啟動一項競賽，徵求開發者使用 Cloudflare Workers 和 Artifacts 打造面向 AI 代理（Agents）的下一代 Git 平台。Cloudflare 指出，隨著 AI 代理開始撰寫更多程式碼、修復錯誤及進行維護，傳統為人類協作設計的 Git 平台…
ARC-AGI-3 Kaggle 排行榜最高分從 7% 升至 56%，小型本地模型在特定框架下表現超越平均人類
過去 30 天內，ARC-AGI-3 在 Kaggle 排行榜上的最高分從 7% 上升至 56%。發文者指出，這一進展是由 Kaggle 允許使用的中小型本地模型在特定評估框架（harness）中運行所推動的，這些模型現在在該基準測試上的表現已超越平均人類。發文者強調，ARC-AGI 基準測試原本是故意設計來展示人類優越性的，因此這一結果引發了討論。發…
Reddit 用戶推薦 Lai 等人撰寫的免費專著《擴散模型原理》
Reddit 用戶分享並推薦了由 Lai 等人撰寫的專著《擴散模型原理》（The Principles of Diffusion Models）。發文者表示該書內容出色，認為作者在數學嚴謹性與直觀理解之間取得了良好的平衡，並設有專門附錄供讀者深入探討數學細節。該書主要面向具備基礎深度學習知識的研究人員、研究生及實務工作者，發文者指出讀者無需事先專精於擴…
開發者在廉價二手 FPGA 礦機硬體上實現 Qwen3.5/3.8 模型推理
一位開發者為了測試大型語言模型（LLM）在 FPGA 上的推理能力，利用廉價的二手 FPGA 硬體實現了 Qwen3.5 和 Qwen3.8 模型的 INT4 量化推理。該專案最初使用 SQRL FK33 開發板（約 280 美元，配備 8GB HBM2 記憶體），成功在 75 MHz 頻率下以每秒 2 個 token 的速度運行 Qwen3.5-9B…
使用者展示結合 Breeze TTS 與 Claude Opus 5.5 的本地語音介面，實現低延遲即時互動
一位 Reddit 使用者分享了其結合 Breeze 文字轉語音（TTS）、語音轉文字（STT）以及 Claude Opus 5.5 模型的本地語音介面設置，並稱讚其效果「真正令人驚嘆」。該使用者表示，在不啟用思考模式的情況下，可在 500 毫秒內聽到第一個聲音；若啟用低強度思考模式，延遲則為 1 至 1.5 秒。 該系統透過 BLE 遙控器（類似手…
Reddit 用戶回報新推理引擎導致 IQ3_S 模型陷入重複迴圈，建議改用 llama.cpp
Reddit 用戶分享測試經驗，指出在嘗試一款被稱為「奇蹟引擎」（miracle engine）的新推理引擎時，使用 IQ3_S 量化模型進行長文本生成會導致輸出退化為重複迴圈。該用戶要求模型評估關於「Kimi K2 和 GPT OSS 120b 過時，哪款現代開放權重模型諂媚度最低」的問題，結果模型在思考鏈（thinking trace）中產生大量無…
64GB 系統記憶體的限制：使用者分享在 Strata 與 ComfyUI 同時運行大型模型的經驗與調校技巧
一位擁有 AMD R9700 圖形卡、NVIDIA RTX 5060 Ti 圖形卡及 64GB DDR5 系統記憶體的使用者，分享了其在本地運行大型語言模型（LLM）與影像/影片生成模型的經驗。該使用者原本在 R9700 上以 Q6 量化運行 Qwen3.8-27B 作為日常驅動模型，速度約 35 t/s，並在 5060 Ti 上透過 ComfyUI …
過度擬合推理引擎的興起：針對特定硬體與模型的極致優化趨勢
近期出現了一類極度窄化的推理執行環境（inference runtimes），包括 Strata、ninfer、DwarfStar、Splash、llamAmpere 和 gufo 等。這些引擎刻意放棄了 llama.cpp 或 vLLM 等通用引擎所擅長的「通用性」，轉而針對少數特定模型，有時甚至僅針對單一硬體家族（例如 AMD Strix Halo…
Image-blaster：開源工具將單張照片轉為3D世界
Image-blaster 是一款 MIT 授權的開源工具，專為 Claude Code 設計，能在五分鐘內將單張圖片轉換為包含物理與音訊的完整 3D 環境。該工具透過串接 World Labs Marble（環境生成）、Hunyuan 3D（網格生成）、nano-banana（圖像清理）和 ElevenLabs（音效生成）等模型運作。使用者只需將圖片…
中國科學院開發具身智慧模型Maxwell，於Meta-World基準測試創下91.9分歷史新高
由中國科學院工業人工智慧研究所（Institute of Artificial Intelligence for Industries）開發的具身智慧模型Maxwell，在Meta-World機器人物理任務基準測試中獲得91.9分，創下該模擬基準測試的歷史最高紀錄，並躍居全球排名第一。Meta-World基準測試由史丹佛大學、加州大學柏克萊分校及其他機…
Aleph Alpha 發布 Kolibri：透明且高效的德國主權大型語言模型
Aleph Alpha 發布了 Kolibri，這是一個擁有 781 億總參數且每 Token 僅激活 34.6 億參數的英德雙語混合專家（MoE）模型。此次發布以極高的透明度為特色，包含詳細的技術報告和數據集細節，並針對代理式（agentic）與編碼任務進行了優化。 Kolibri 提供了一個高性能且具成本效益的替代方案，成為歐洲 AI 主權的重要…
Redis 創作者推出的 DwarfStar 讓 Apple Silicon 也能執行本地 LLM
由 Redis 作者 Salvatore Sanfilippo 開發的本地 LLM 推理引擎 DwarfStar (ds4)，因其在 Apple Silicon 上的優異表現而在 Hacker News 上獲得高度關注。該工具支援 DeepSeek V4 和 Qwen 3.8 等最新模型，用戶讚賞其運行速度以及透過 FFI 綁定實現的擴展能力。 此發布…
Strata 架構大幅提升 Qwen3.8 Next 在慢速 DDR4 系統上的運行速度
使用者報告指出，與傳統的 Llama CPP 設定相比，Strata 架構搭配 Qwen3.8 Next 能顯著提升慢速 DDR4 記憶體系統的推論速度。基準測試顯示，其速度穩定在每秒 45 至 70 個詞元，幾乎是標準 Llama CPP 效能的兩倍。 這項進展為在擁有顯卡但系統記憶體充足的硬體上運行大型語言模型提供了可行的解決方案。它突顯了架構創新…
OpenAI 安全團隊成員辭職：指文化重速度輕安全
OpenAI 安全團隊的一名成員宣布辭職，直指公司文化過度重視發展速度，卻輕忽系統安全性。此次離職事件凸顯了外界對 OpenAI 開發流程與治理結構日益增長的擔憂，並突顯了快速 AI 進展與嚴格安全標準之間的張力，這已成為整個科技產業的關鍵議題。 辭職者將 OpenAI 的現況與曼哈頓計畫相比較，指出其缺乏核能設施等高度安全產業所具備的冗餘設計與安全…
Cloudflare 推出 OHTTP 閘道器，強化無感知 HTTP 隱私架構
Cloudflare 正式宣布推出 OHTTP 閘道器，作為支援無感知 HTTP（Oblivious HTTP）的新基礎建設元件。此服務透過中繼伺服器機制，讓客戶端在與原始伺服器保持安全連線的同時，能有效隱藏其 IP 位址。 在運作機制上，閘道器自動處理請求的解包與回應的封包作業，並管理 HPKE 金鑰，同時透過 Cloudflare Access …
Apple 更新 macOS 全磁碟存取權限與容器限制
Apple 更新了 macOS 中的全磁碟存取權限，引入了更嚴格的控制措施。即使應用程式已獲得全磁碟存取權限，系統仍會限制其對特定系統容器的存取，旨在透過縮小應用程式可讀取的範圍來提升安全性。 一個顯著的技術細節是，全磁碟存取不再保證能存取所有系統容器，例如存放 Apple 螢幕保護程式設定的容器。這導致像 Ghostty 或 Alfred 等應用程…
Hacker News 探討以 Tmux 為核心的作業系統體驗
一篇標題為《將 Tmux 打造為作業系統》的部落格文章在 Hacker News 上引發熱議，焦點在於以終端機為核心的桌面體驗是否可行。這場辯論突顯了 Tmux 等終端機多工處理程式，與傳統圖形使用者介面或平鋪式視窗管理員之間的張力。討論引起了重視效率與鍵盤驅動工作流程、而非視覺客製化的開發者共鳴，反映出獨立開發者和進階使用者希望透過在終端機環境中整合…
Meta 開放原始碼 Muse Gadget SDK，支援 ESP32 打造 DIY AI 裝置
Meta 已開放原始碼 Muse Gadget SDK，讓開發者能將 ESP32 等微控制器硬體連接到其 Muse AI 代理程式。此次發布讓使用者能夠打造自製裝置，將顯示器、按鈕和感測器與 Meta 的 AI 生態系統整合。該 SDK 支援 ESP32 和 Linux 裝置，並需要 SDK 金鑰才能與 iOS 和 Android 上的 Muse 應用…
機器人學習評估：手部追蹤遮擋空隙對指標的影響
Reddit 上的討論指出，在機器人示範期間，若因遮擋導致手部追蹤出現空隙，可能會扭曲評估指標。特別是當整體高召回率掩蓋了插頭插入等關鍵階段的錯誤時，問題更為嚴重。文章引用 MEgoVista 和 HaPTIC 資料集，說明接觸階段偵測遺漏如何影響姿態誤差的計算。 此問題對機器人學習至關重要，因為關鍵操作階段的姿態標籤若不準確，即使整體追蹤指標看起來…
Strata 推論工具讓消費級硬體也能運行 Qwen 3.8 Flash Next
Strata 推論工具是一款零依賴的 Rust 引擎，讓使用者僅需 16GB 顯存即可在消費級硬體上運行先進的 Qwen 3.8 Flash Next 模型。這項突破在 LocalLLaMA 社群中引發了關於其效能與推廣機器人數量的熱烈討論。 這項進展透過讓強大的開源模型在無伺服器級硬體的情況下變得實用，實現了大語言模型的普及化。它大幅降低了希望在自己…
Reddit 用戶分享本地 LLM 建置經驗，引發舊款 CPU 與現代 GPU 成本效益之辯
一位 Reddit 用戶分享了其建置本地大型語言模型（LLM）的經驗，指出社群建議使其陷入硬體選擇的迷思，影響了預算與睡眠。此討論聚焦於舊款 DDR3 CPU 伺服器是否比現代 GPU 更具成本效益，特別是針對每秒約 15 個 token 的推理任務需求。評論者提出，使用 2014 至 2018 年間製造、配備充足 DDR3 記憶體的双路伺服器，其記憶…
Micro Center 購 RTX 5090 需簽不出口聲明
據報，Micro Center 要求購買 NVIDIA RTX 5090 的顧客出示照片身份證件，並簽署不出口聲明表單。此措施旨在確保買家不會將硬體帶出美國，也不會轉售給有意將其帶出美國的人。該聲明要求買家證明他們不會出口該硬體，也不會轉售給有意將其帶出美國的人。這項零售層級的合規措施直接影響了中國等受出口限制地區取得高性能 GPU 以進行 AI 和本…