Hugging Face 展示了一項利用群組相對策略優化（GRPO）演算法的微調成果。該方法僅需 100 步最佳化步驟，即可有效微調擁有 3.5 億參數的小型模型，大幅提升了其生成結構化輸出的能力。此過程透過 TRL（Transformer Reinforcement Learning）庫執行，以極少的運算資源達成了高精度的訓練效果，突顯了 GRPO 在小規模模型適應方面的高效性。

事件背景

大型語言模型（LLM）在生成嚴格格式化的輸出（如 JSON 或 XML）時通常面臨挑戰，而這些格式對於將 AI 整合到軟體應用中至關重要。微調是指在特定數據上進一步訓練預訓練模型，以提升其在專業任務上的表現。GRPO 是一種強化學習演算法，通過比較多個生成輸出之間的相對表現來最佳化模型的策略。