NVIDIA 与 IIT Madras 发布 2.8 万亿 token 印度语言预训练语料及开放生成流程

核心事实

据 Hugging Face 博客文章，NVIDIA 与 IIT Madras 及其 AI4Bharat 实验室联合发布 Nemotron-pretraining-Indic-v1 语料，规模约 2.8 万亿 token，覆盖印度宪法列出的 22 种语言，并计划同时开放用于构建该语料的 GPU 加速数据生成流程。文章称，语料包含 2,601.0 亿原生文字 token 与 224.6 亿罗马化 token（按 Gemma-4 tokenizer 计数），共 34 种语言—文字组合：22 种语言有原生文字数据，其中 12 种另有罗马化数据。流程基于 NVIDIA 开源框架 NeMo Data Designer，涵盖提示词、LLM 工作流与质量检查，开发者可据此适配自有源材料。

背景与影响

文章指出，AI4Bharat 此前已发布面向 22 种印度语言的开放预训练语料 Sangraha。此次发布将精选英文材料（含数学、代码、问答内容）翻译为印度语言，每条记录可追溯至源文档，输出需与输入比对。十二种语言采用文档级翻译、质量评估、定向修复与文字转换四阶段流程，评估采用受 MQM 启发的评分标准，仅保留 75 分及以上输出；另十种语言使用 Bodhan AI 的 Indic Translate 模型翻译，再由 Gemma-4-31B-it 评估。文章称，Nemotron 3.5 Super VL 的持续预训练加入 100 亿印度语言 token，取自该语料的十二种语言子集与自然印度语言文本，报告的五项印度语言知识与推理基准得分均有提升，涨幅为 4.98 至 9.82 个百分点。

限制与来源

文章说明，上述对比反映的是一个同时包含合成与自然印度语言数据的训练阶段，未单独区分合成语料的贡献；各基准的语言覆盖不同，且比较对象是阶段检查点而非最终模型版本。GSM8K 因评估超出服务上下文上限而未包含 Odia。语料 token 数为保留语料（含被接受的改写），并非某次训练运行的 token 预算，且随 tokenizer 不同而变化。原生文字数据仍为英文翻译，罗马化指用拉丁字母书写的印度语言文本。相关数据与流程的发布时间、许可证及可用范围以官方页面当前信息为准。