推理模型在AI代理架構中的定位

Raschka指出，現代幾乎所有當前的LLM都具備推理模式或本身就是推理模型。他將推理模型定義為傳統LLM的升級版，透過加入基於可驗證獎勵的強化學習（RLVR）以及推論時擴展技術，使其能解決更複雜的問題。

在AI代理系統中，推理模型扮演「引擎」的角色，而代理框架（Agent Harness）則是圍繞模型的軟體工具層，負責處理上下文管理與工具調用。雖然代理可以使用傳統LLM或推理模型，但由於推理模型能力較強，通常成為首選。

課程架構與前置需求

這套課程被視為其先前《Coding LLMs from the Ground Up》系列的續作，但設計為獨立內容，不強制要求先修課程。教學從一個預訓練的小型Qwen3模型出發，讓學習者專注於評估、推論時擴展、強化學習與蒸餾等進階技術的實作。

學習者需具備Python與PyTorch的基本能力。在硬體資源方面，早期的文本生成與評估範例可在CPU上執行，但後期的訓練實驗建議使用GPU以提升效率。課程提供了詳細的硬體選擇建議與環境設定指南。

從基礎模型載入到評估驗證器建構

課程前兩部分涵蓋如何載入Qwen3 0.6B模型的預訓練權重，並實作串流文本生成、KV快取（KV caching）以及使用torch.compile進行模型編譯，以優化生成效率。這些組件構成了後續改進與評估的基準線。

第三部分重點在於建構一個數學答案驗證器，用於在MATH-500資料集上評估模型表現。這個驗證器不僅用於評估，還將作為後續強化學習階段中提供獎勵信號的關鍵組件，確保模型輸出的正確性可被自動檢查。

推論時擴展技術：取樣與自我一致性

在保持模型權重不變的情況下，課程介紹了透過增加計算量來提升答案品質的方法。這包括實作溫度縮放（temperature scaling）、多項式取樣（multinomial sampling）以及top-p過濾，以生成多樣化的候選答案。

接著，課程展示了如何透過自我一致性（self-consistency）機制，對多個候選答案進行多數投票以決定最終輸出。同時，教學也探討了準確率提升與額外推論計算成本之間的權衡關係。

強化學習實作：GRPO與可驗證獎勵

課程進入訓練階段，重點在於實作基於可驗證獎勵的強化學習（RLVR）。教學詳細拆解了簡化版的群體相對策略優化（Group Relative Policy Optimization, GRPO）演算法，包括生成回應組、使用驗證器評分以及根據相對獎勵更新模型權重。

後續章節進一步深入訓練過程的分析與優化，涵蓋追蹤熵值、優勢統計、剪裁策略比率（clipped policy ratios）以及KL散度損失項。這些技術細節旨在幫助開發者理解訓練穩定性、避免獎勵黑客（reward hacking）現象，並比較不同檢查點在MATH-500上的表現。

知識蒸餾與配套資源

課程最後一部分介紹了另一種訓練小型推理模型的方法：知識蒸餾。透過使用較強大的教師模型（如DeepSeek R1）生成的答案作為監督訊號，教學展示了如何準備蒸餾資料集並實作監督學習迴路，最終在MATH-500上評估蒸餾後模型的效能。

除了影片課程外，Raschka還出版了同名書籍《Build a Reasoning Model (From Scratch)》，提供更深度的文字解說、圖表與練習題。他建議讀者結合閱讀章節、觀看對應影片並完成練習，以獲得最完整的學習體驗。此外，他也推薦了一個較短的LinkedIn Learning概念課程作為入門預覽。