NVIDIA 與 IIT Madras 的 AI4Bharat 實驗室合作發布了 Nemotron-pretraining-Indic-v1，這是一個涵蓋印度憲法所列 22 種語言、總量約 2.8 兆 Token 的預訓練語料庫，並同步開放用於生成該資料的 GPU 加速資料生成管線。這 22 種語言涵蓋了印度 97% 的人口（約 12 億人，依據 2011 年人口普查數據）。該發布旨在解決印度語技術發展因訓練資料不足而落後於英語的問題，提供開發者可重現的生成配方，包括提示詞、LLM 工作流程及品質檢查機制。
語料庫包含所有 22 種語言的原生文字資料，以及其中 12 種語言的羅馬拼音（Romanized）資料，總計涵蓋 34 種語言與文字組合。具體而言，孟加拉語、古吉拉特語、印地語、卡納達語、马拉雅拉姆語、馬拉地語、尼泊爾語、奧里亞語、旁遮普語、泰米爾語、泰盧固語和烏爾都語同時提供原生文字與羅馬拼音資料；阿薩姆語、博多語、多格拉語、克什米爾語、孔卡尼語、邁蒂利語、曼尼普爾語、梵語、桑塔利語和信德語則僅提供原生文字資料。需注意的是，「原生文字」指使用該語言傳統書寫系統，但內容仍源自英文翻譯；「羅馬拼音」指使用拉丁字母書寫的印度語文本，而非英文翻譯。對於雙文字語言，羅馬拼音資料僅涵蓋部分被接受的原生文字翻譯。
資料生成過程從 Nemotron-CC-v2 的 15 個子集（涵蓋網頁文本、問答、數學、代碼等）開始，使用 NVIDIA 開源框架 NeMo Data Designer 進行翻譯、品質檢查與修復。對於 12 種雙文字語言，使用 Gemma-4-31B-it 模型進行整篇文件翻譯，以保留段落、表格和方程式的上下文。翻譯後，同一模型依據受多維品質指標（MQM）啟發的評分標準（涵蓋意義、流暢度、術語、風格和格式）對輸出進行評估，僅保留得分至少 75/100 的輸出。低分輸出會根據評估回饋進行修復並重新評估，此過程額外恢復了 438.4 億 Token。被接受的原生文字翻譯隨後被轉換為拉丁字母，並與原生文字輸入進行比對檢查，這種兩步法在初步人工比較中顯示比直接從英文生成羅馬拼音文本產生更少的幻覺添加和殘留英文。
對於另外 10 種語言，為解決長文件品質和文字穩定性問題，採用由 IIT Madras 孵化的非營利組織 Bodhan AI 開發的 Indic Translate 模型進行文件級翻譯，再由 Gemma-4-31B-it 進行評估。對於桑塔利語的長文件，採用重疊窗口翻譯後重構文件；對於曼尼普爾語，先翻譯為孟加拉文字再轉換為其原生文字 Meitei Mayek。這些工作流程僅保留得分至少 75/100 的輸出，且僅產生原生文字資料，不包含基於回饋的重寫。
在模型訓練方面，Nemotron 3.5 Super VL 的持續預訓練（CPT）階段增加了 100 億 Token 的印度語資料（佔總訓練預算 1000 億 Token 的 10%），其餘 90% 維持先前訓練混合的比例。技術報告顯示，與 CPT 前的檢查點相比，該模型在 MILU、Indic MMLU-Pro、Indic ARC-Challenge、Indic ARC-Easy 和 Indic GSM8K 等五個印度語知識與推理基準測試上的分數均有提升，增益範圍為 4.98 至 9.82 個百分點。需注意，GSM8K 評估排除了奧里亞語，因為評估超出了服務上下文限制。這些增益支持了合成與自然印度語資料混合的 CPT 配方，但其他模型和語言的最佳混合比例仍有待進一步研究。
與上一代 Nemotron 3 Super 相比，發布的 Nemotron 3.5 Super VL 在六個任務基準中的五個（涵蓋知識、推理、數學、代碼和翻譯）得分更高，但在 IFEval 1.5 指令遵循測試中下降了 2.04 個百分點。此外，該模型在 Sarvam AI 的開放基準 IndiVibe 的所有四個維度（實用性、流暢度、語言與文字忠實度、適當冗長性）上均有改進。IndiVibe 的評估結果為初步條件偏好分數，並非直接面對面的勝率。
事件背景
AI4Bharat 是 IIT Madras 的印度語研究實驗室，致力於開發印度語的開源數據集和模型，其資源如 Sangraha（涵蓋 22 種印度語的開放預訓練語料庫）為開放印度語語言模型研究奠定了基礎。AI4Bharat 負責人 Mitesh Khapra 曾入選 2025 TIME100 AI 名單，並指出印度語技術落後於英語的核心原因是「缺乏足夠的印度語資料」。此次發布是對這一挑戰的回應，旨在透過提供更多資料及開放的生成配方來促進印度語 AI 技術的發展。
