什么是多 token 预测（Multi-Token Prediction）？一次预测多个未来 token 的训练目标
多 token 预测（Multi-Token Prediction，MTP）是一种语言模型训练目标：在训练语料的每个位置上，让模型同时预测接下来的 n 个 token，而不是只预测下一个 token。arXiv 论文《Better & Faster Large Language Models via Multi-token Prediction》提出，这一做法可提升样本效率，并在代码与自然语言任务上改善下游能力，且不增加训练时间开销。
多 token 预测（Multi-Token Prediction，MTP）是一种用于训练大语言模型的目标设计：在训练语料的每一个位置上，要求模型一次性预测接下来的 n 个 token，而不是只预测紧邻的下一个 token。它要解决的问题是：传统的下一 token 预测（next-token prediction）损失在每个位置上只提供一个监督信号，样本效率有限；多 token 预测试图让同一段训练数据产生更丰富的学习信号。
为什么重要
论文指出，GPT、Llama 这类大语言模型都是以下一 token 预测损失训练的。这种训练方式在实现上简单、在推理时也自然对应逐 token 生成，但它意味着模型在每个位置只被要求回答一个问题：下一个 token 是什么。对于代码、算法推理这类需要较长跨度结构一致性的任务，单个位置的监督信号可能不足以充分约束模型内部表示的形成。
论文作者提出的动机是：如果让模型在同一个位置上同时预测多个未来 token，模型就必须对更长的未来片段形成某种规划性的内部表示，从而可能提高样本效率（sample efficiency），即在相同数据量下学到更多。论文把多 token 预测定位为一种辅助训练任务，并报告称在代码模型和自然语言模型上都能观察到下游能力的改善，同时训练时间没有额外开销。
工作机制
按论文的描述，多 token 预测的核心做法可以拆成以下几点：
- 共享主干：模型仍然只有一个共享的模型主干（shared model trunk），负责把输入 token 序列编码成逐位置的隐藏表示。主干的结构与常规 Transformer 语言模型一致，不因预测多个 token 而改变。
- n 个独立输出头：在主干之上接 n 个独立的输出头（output heads），第 i 个头负责预测当前位置之后的第 i 个 token。也就是说，位置 t 处的监督信号同时包含 t+1、t+2、…、t+n 这 n 个目标。
- 作为辅助任务：论文把多 token 预测当作辅助训练任务来使用，而不是完全取代原有的下一 token 预测目标。这样模型既保留标准的自回归训练信号，又额外获得多步预测的约束。
- 训练开销：论文称该做法在训练时间上没有额外开销（no overhead in training time）。直观理解是，n 个输出头共享同一份主干前向计算，额外成本主要来自输出层的并行计算，而训练数据仍只过一遍。
- 推理加速：论文还报告了一个附带好处——用 4-token 预测训练的模型在推理时最高可快 3 倍，即使在大批量（large batch size）下也是如此。这通常与多输出头带来的并行候选生成或自推测式解码有关，但具体实现细节应以论文原文为准。
典型例子
论文给出了若干具体的实验设置与结果，以下均为该论文报告的结论，而非行业共识：
- 代码生成基准：论文称其 13B 参数模型在 HumanEval 上比可比的下一 token 预测模型多解决 12% 的问题，在 MBPP 上多解决 17% 的问题。作者表示，在编码这类生成式基准上，增益尤其明显，模型以数个百分点的幅度稳定优于强基线。
- 模型规模趋势：论文指出，该方法随着模型规模增大而越发有用，并且在多轮（multiple epochs）训练时仍保持其吸引力。
- 小型算法任务：论文在小规模算法任务上的实验表明，多 token 预测有利于归纳头（induction heads）的形成以及算法推理能力的发展。
- 推理速度：如上一节所述，4-token 预测训练的模型在推理时最高快 3 倍。
这些数字来自论文自身的实验条件与基线选择，换用不同的数据配比、模型架构或评测流程时结果可能不同，不应直接外推为普遍性能承诺。
边界与常见误解
首先需要澄清一个常见误解：多 token 预测不是一种新的解码算法，也不是让模型在推理时一次吐出多个 token 的采样技巧。按论文的表述，它首先是训练阶段的目标设计——通过 n 个输出头改变模型被要求学习的内容。推理加速是训练方式改变后带来的附带效果，而不是方法本身的目的。
其次，它也不是对下一 token 预测的完全替代。论文明确把多 token 预测作为辅助训练任务来度量效果，标准自回归目标仍然存在。把它理解成「抛弃自回归、改成并行生成」并不准确。
第三，关于适用范围。论文报告的增益在代码与生成式基准上最为明显，在自然语言模型上也有改善，但增益幅度随任务类型、模型规模与训练轮数而变化。论文称方法随模型规模增大而更有用，这本身也意味着在小模型上收益可能有限。对于不需要长跨度结构规划的任务，额外输出头带来的收益是否值得，需要按具体场景评估。
第四，关于代价。论文强调训练时间无额外开销，但这不等于零成本：n 个输出头增加了输出层的参数量与显存占用，n 的取值（论文中涉及 4-token 的设置）也需要作为超参数来选择。此外，多输出头的模型在导出为标准自回归推理格式时可能需要额外处理，这部分工程代价论文未展开讨论。
最后，需要强调信息来源。上述机制与数字均出自 arXiv 论文《Better & Faster Large Language Models via Multi-token Prediction》（作者 Fabian Gloeckle、Badr Youbi Idrissi、Baptiste Rozière、David Lopez-Paz、Gabriel Synnaeve，2024 年 4 月 30 日提交）。它们是该论文在特定实验设置下报告的结果与主张，不构成对整个行业的普适结论；不同团队复现时可能得到不同幅度的收益。