Hugging Face 展示了一項創新實驗，透過結合 TRL 與 OpenEnv，將程式碼 token 映射為視覺表現，成功訓練程式碼模型生成水彩畫。此過程利用來自人類反饋的強化學習（RLHF），優化模型透過程式碼創作藝術作品的能力。

該專案利用 TRL 庫對基礎模型進行後訓練，採用監督微調（SFT）和直接偏好優化（DPO）等技術；同時使用 OpenEnv 介面庫，定義並與將程式碼渲染為影像的環境進行互動。

這種方法展示了強化學習如何應用於文本生成之外，以控制視覺美學，突顯了程式碼模型與生成式藝術之間的創意交集，為對自訂獎勵建模和多模態能力感興趣的從業者提供了寶貴見解。

事件背景

TRL（Transformers Reinforcement Learning）是一個專為使用進階強化學習技術對 Transformer 語言模型進行後訓練而設計的庫。OpenEnv 則是一個開源框架，提供標準化 API 以定義和互動於強化學習及代理工作流程中的環境，促進了程式碼執行與視覺回饋之間的連接。