公司部署 4x RTX 6000 Pro 本地 AI 基礎設施
一位 Reddit 使用者(u/q-admin007)分享了其公司如何利用本地 AI 服務為 40 名員工(其中 10 名為開發人員)提供支援。該系統基於一台 4U 伺服器,配備 4 張 RTX 6000 Blackwell MaxQ GPU、384GB DDR5 記憶體及 AMD EPYC 9275F 24-Core CPU,總成本約 5.5 萬歐元…
第 7 / 61 頁,依本站收錄時間整理(台灣時間),不代表原文發布時間。
一位 Reddit 使用者(u/q-admin007)分享了其公司如何利用本地 AI 服務為 40 名員工(其中 10 名為開發人員)提供支援。該系統基於一台 4U 伺服器,配備 4 張 RTX 6000 Blackwell MaxQ GPU、384GB DDR5 記憶體及 AMD EPYC 9275F 24-Core CPU,總成本約 5.5 萬歐元…
騰訊開源了 TencentDB Agent Memory,這是一個完全使用 SQLite 在本地運行的系統。
一位 Reddit 使用者分享其在單張 RTX 5090 顯卡上,使用 Strata 分支引擎(strata-nvfp4)運行 Qwen3.8-Flash-Next 125B-A6B 混合 MoE 模型進行「Horsey Challenge」的測試結果。該測試旨在生成一個低多邊形 3D 馬匹奔跑的 Three.js 動畫。使用者指出,首次嘗試因模型開啟…
Reddit 使用者 Farmadupe 發布警告,指出 RTX 3090 Founders Edition (FE) 在執行大型語言模型 (LLM) 時,VRAM 溫度會迅速飆升至 112°C,遠超其連續使用額定溫度 96°C。由於 LLM 的詞元生成過程會使 VRAM 讀取能力達到極限,該使用者測試了 NVIDIA 原廠風扇與功率曲線下的 VRAM…
Basalt 是一個從 Strata 分支出來並針對 NVIDIA Blackwell 架構進行深度調校的推理引擎,專為 Qwen 3.8 Flash Next 設計。該引擎支援視覺功能,但傳統做法要求影像編碼器必須常駐於 VRAM 或 CPU 中:常駐 VRAM 會佔用原本可用於存放專家層(experts)的寶貴快速記憶體空間,而使用 CPU 進行編…
ifo 經濟研究所的一項研究估計,若對人工智慧(AI)的數據存取實施更嚴格的規範,可能會導致德國經濟每年損失高達 1550 億歐元。
Meta 研究團隊正式推出 Muse Wonder 系列模型,包含 Muse Wonder 與 Muse Wonder Full 兩款最新版本,宣稱在個人與專業代理任務上達到最先進(state-of-the-art)的效能。其中,Muse Wonder 整合了「主動記憶」(Active Memory)與「主動專注」(Active Focus)兩項核心技…
DeepMind 的 AlphaProof Nexus 據報導解決了 9 個 Erdős 開放問題及 44 個數列猜想,其中包括兩個懸而未決超過 50 年的問題。這些解決方案最初於 2026 年 5 月以預印本形式發布在 arXiv 上。最新進展是該論文的經同儕審查版本已發表於《Science》期刊(2026 年 10 月出版)。
開源專案 ps2-web-recomp 透過將 PlayStation 2 遊戲的 Emotion Engine 機器碼在執行前(Ahead-of-Time)靜態重編譯為 C++ 並編譯成 WebAssembly,結合重新實作的 PS2 作業系統與硬體層,使遊戲能在瀏覽器中無需傳統模擬器即可運行。該專案是 psp-web-recomp 的姊妹專案,採用…
一場針對丹麥工程公司 Danfoss 所提供軟體的網路攻擊,導致法國數百家超市的冷藏與冷凍設備溫度異常升高,造成估計價值數百萬歐元的生鮮及冷凍食品損毀。攻擊者控制了調節製冷單元溫度的軟體,迫使部分設備在夜間加熱至攝氏 50 度(華氏 120 度)。受影響的連鎖店包括 Coopérative U(超過 100 家門店)、Intermarché 及其 Ne…
AI 研究者 Andrej Karpathy 指出,社會大眾對大型語言模型(LLM)能力的認知差距正在擴大,並將其描述為一個陡峭的漏斗結構,而非單純的兩群人在互相誤解。他根據接觸程度與使用深度,將人群分為四個層級: 1. **約 60 億人(佔人口約 75%)**:幾乎未接觸過 LLM。 2. **約 10-20 億人(佔人口約 20%)**:偶爾使…
安全研究員 Simon Koeck 在 Google 開發者文件網站(developers.google.com)發現一個價值 9 萬美元的遠端程式碼執行(RCE)漏洞。該漏洞源於 Google 的共享 DevSite 平台在 OAuth 流程中,將 OAuth 客戶端密鑰(client_secret)同時用作 Flask 會話 Cookie 的簽名金…
QGIS 核心開發者 nyalldawson 於 2026 年 9 月 24 日在 GitHub 上提出增強提案 QEP428,正式將專案的 AI 政策從先前的「人在迴路中」(Human in the loop)調整為嚴格的「不允許」(NOT ALLOWED)AI 貢獻政策。該提案於 10 月 5 日結束討論期並進入投票階段。 提案的主要動機在於緩解…
一篇標題為「通行密鑰是陷阱」的文章警告非技術背景的網路用戶不要使用通行密鑰(Passkeys)。作者承認通行密鑰在安全性上可能優於密碼,且在某些情況下更為便利,但指出其設計並未優先考慮用戶的利益。與密碼、驗證器應用程式或實體安全金鑰不同,用戶對通行密鑰沒有最終的控制權;網站可以透過隱藏的機制逐漸剝奪用戶對通行密鑰的自主處理能力。 文章指出,通行密鑰由…
AI 新創 Elorian 與 Scale AI 發布了名為「Humanity’s Sixth Sense」(HSS)的新基準,旨在評估模型如何解讀並推理視覺場景中未明確顯示的隱含資訊。HSS 包含 522 個問題,涵蓋 288 張圖片及 234 個短片(共 17.6 小時),分為時間與因果動態、物理與空間邏輯、社會理解及抽象與脈絡推論四大類別。測試結…
Qwen 推出了 QwenGyre,這是一個將彈性強化學習(Elastic RL)應用於極長視野(XLong)代理訓練的框架。該框架包含兩個核心設計: 1. **彈性調度器(Elastic Scheduler)**:根據需求變化在執行(rollout)與訓練之間動態重新分配 GPU 資源,且不會中斷正在執行的任務。與 Colocate 方法相比,最高…
OpenBMB 發布了 MiniCPM-V 4.7 系列的最新模型 MiniCPM-V 4.7-35B-A3B,這是該系列中首款採用混合專家(MoE)架構的模型。該模型延續了單圖、多圖及影片理解能力,並結合了更強大的基礎能力、高效的視覺編碼技術以及端側推理優化。 MiniCPM-V 4.7-35B-A3B 的主要特點包括: 1. **首款開源 MoE…
vLLM Semantic Router 團隊發布了 Decision 3.0 (d3),這是一個參數規模從 0.6B 到 27B 的開源多模態決策模型系列,採用 Apache-2.0 授權,所有模型均能處理文字、圖像和影片輸入。 **技術架構與功能** Decision 3.0 基於 Qwen3.5 (0.8B / 2B / 4B / 9B) 和 …
Linus Torvalds 在 Git 標籤 `assoc-array-fixes` 中說明,他利用現代大型語言模型(LLM)工具來協助理解 Nils Ollrogge 提交的 `assoc_array` 程式庫錯誤修復補丁。由於原始補丁程式碼過於晦澀難懂,Torvalds 採用 LLM 輔助的方式將大型且難以閱讀的函數進行拆分,以提升程式碼的可讀性…
開發者 prophitt 分享了其商業網頁產品 marketyour.games 的開發經驗,該產品採用被視為過時的 C 語言與 CGI 技術棧,但在 2026 年仍能有效運作。該應用具備現代網頁功能,包括用戶帳戶、內容創作者搜尋儀表板、資料夾組織、Stripe 支付及 Postmark 交易郵件,且遵循漸進式增強原則,無需 JavaScript。技術…
一篇技術文章指出,瀏覽器指紋(Fingerprinting)技術已成為取代第三方 Cookie 進行用戶追蹤與數據變現的主要手段。文章解釋,即使清除 Cookie、使用 VPN 或開啟無痕模式,用戶仍可能因硬體與軟體特徵而被識別。與 Cookie 不同,指紋技術利用網路請求資訊(如 IP、User-Agent)及執行代碼時讀取的硬體數據(如 GPU、C…
Doory 是一款在瀏覽器中運行的開源設計編輯器,旨在提供類似 Canva 的功能,但強調完全免費、無需帳號即可使用,並支援自託管。使用者可從模板或空白頁面開始,製作海報、社群貼文、故事、簡報、邀請函、履歷、縮圖和名片,並匯出為 PNG、JPG、SVG、PDF、MP4 或 GIF 格式。 該工具的核心特點包括: 1. **完全免費與開放**:無付費方…
開發者推出了開源工具 whatmodel.sh,該工具允許使用者輸入 RAM 和 GPU 規格,以查看可在本地運行的 AI 模型排名及執行指令,並能將這些模型與具有相同分數的 API 模型進行比較。開發者指出,該工具的開發過程讓他意識到,配備 32GB 記憶體的 Mac 現在可以完全免費且本地運行得分與 GPT-5 相當的模型(例如 4-bit 量化的…
一位 Reddit 用戶在 r/LocalLLaMA 發布了一份主觀排名,列出可在 10-16GB VRAM 及 26-32GB RAM 環境下運行的語言模型。該清單基於速度(至少 10 tokens/s)、連貫性、多語言處理能力(JP/PT-BR/US-EN)、避免「Slop」模式、MoE 與全參數模型的比較、 censorship 程度以及指令遵循…
密歇根大學開發的軟體宣稱能將 AI 訓練的能耗降低多達 50%。
Piotr Sarnacki 分析了 Ruby on Rails 創建者 DHH 使用 AI 代理將聊天應用程式 Campfire Once 從 Ruby on Rails 重寫為 Rust、Elixir 和 Go 的結果。由於 DHH 本人不願閱讀或撰寫 Rust 代碼,他讓 AI 代理執行重寫工作。Sarnacki 指出,這些重寫結果並不樂觀,顯示…
Cactus Compute 發布了 Whistle,這是一個專為手機、可穿戴裝置、機器人、智能家居、汽車及微控制器設計的語音識別模型。該模型僅佔用 16.9 MB,無需依賴外部依賴項,直接在 CPU 上運行,並載入與 Needle 模型相同的 C++ 引擎中。Whistle 提供三種主要功能,全部在裝置端本地執行:1. 轉錄:支援 16 kHz 單聲…
微軟發布了 AesCode 8B 與 32B 模型,旨在生成資訊豐富的視覺工件(如簡報、海報和儀表板),並輸出為 HTML/CSS 格式。這些模型產生的輸出保持結構化、可編輯且可驗證。AesCode 解決了代碼模型無法視覺化佈局、層級與色彩組合,以及圖像生成器常錯誤渲染文字、數字和邏輯關係的挑戰。AesCode 使用由相同提示生成的圖像作為美學參考,同…
開發者 Terence Eden 為了改善其開源專案 ActivityBot 的安裝體驗,申請了 NLnet 補助,並承諾測試真實使用者的安裝流程。他透過 Mastodon 招募志願者,每人支付 25 歐元作為一小時的時間補償,並透過視訊會議進行測試。測試格式要求參與者共享螢幕並「邊做邊說」(think aloud),詳細描述他們的操作、困惑、挫折或滿…
Valen 語言開發者發布了關於其新型「彈性借用檢查器」(Flexible Borrow Checker)的技術文章,該系統基於 Nick Smith 設計的「群組借用」(Group Borrowing)概念。此方法旨在解決記憶體安全領域的長期挑戰,試圖結合 Rust 借用檢查的強大能力與引用計數或垃圾回收的靈活性。核心機制在於讓編譯器記住引用的指向(…
我們使用 Google Analytics 了解閱讀情況與改善新聞網站。你可以接受或拒絕分析 Cookie,不影響閱讀。了解 Cookie 政策