扩散 Transformer（Diffusion Transformer，DiT）是 arXiv 论文《Scalable Diffusion Models with Transformers》提出的一类扩散模型，用 Transformer 替换扩散模型中常用的 U-Net 主干，在潜空间图块上运算。该论文以 Gflops 衡量前向计算复杂度，发现 Gflops 更高的 DiT 在 FID 上表现更好，其最大的 DiT-XL/2 在 ImageNet 512x512 与 256x256 类别条件基准上取得当时最优结果。
字节对编码（Byte Pair Encoding，BPE）是一种子词切分方法，最初来自基于语法的文本压缩，后被广泛用于机器翻译、大语言模型预训练等任务，用来构建指定规模的词表。两篇论文分别从形式化与理论分析角度刻画了它：一篇把它形式化为组合优化问题并给出近似保证，另一篇证明其底层优化问题是 APX-完全的。
状态空间模型（State Space Model，SSM）是一类用隐状态随序列推进的递归结构来描述序列的模型。Mamba 论文指出，此前这类模型在语言等重要模态上不如注意力机制，原因是无法做基于内容的推理；论文让 SSM 参数成为输入的函数，并设计了硬件感知的并行算法，从而在保持线性时间的同时提升效果。
无监督领域自适应（Unsupervised Domain Adaptation，UDA）是一种迁移学习设定：源域有标注数据，目标域只有无标注数据，模型需要借助两者在目标域上取得良好表现。它针对的是深度模型在分布偏移下性能下降的问题，常见做法是同时对齐源域与目标域的表征并保持可判别性。
旋转位置编码（RoPE）是 arXiv 论文《RoFormer: Enhanced Transformer with Rotary Position Embedding》提出的一种位置编码方法，它用旋转矩阵把绝对位置信息编码进自注意力计算，同时在自注意力公式中显式引入相对位置依赖。该论文称 RoPE 具备序列长度灵活、词元间依赖随相对距离增大而衰减等性质，并在长文本分类基准上进行了评测。
上下文学习（In-Context Learning，ICL）指自回归语言模型仅凭提示中给出的少量示例，通过下一词元预测完成任务，而无需更新模型参数。它把「任务说明」从训练阶段搬到了推理阶段的上下文里，因而被视为大语言模型时代的一种新范式。但一篇 ICLR 2026 论文通过大规模消融分析提出，ICL 的经验学习与泛化能力有限，更多是从提示的规律性中做推断。
知识蒸馏是一种把多个模型或大型模型学到的知识压缩进单个更易部署模型的训练方法，由 Hinton、Vinyals 与 Dean 在 2015 年提交的论文《Distilling the Knowledge in a Neural Network》中系统提出。它要解决的核心问题是：集成模型虽然效果好，但预测代价高、难以大规模部署。
掩码语言建模（Masked Language Modeling，MLM）是一种自监督训练目标：把序列中的部分词元遮住，让模型根据左右两侧的上下文把它们还原出来。Hugging Face 官方文档指出，该目标下模型可以双向关注词元，因此特别适合需要理解整段序列上下文的任务，BERT 就是典型的掩码语言模型。
FlashAttention 是一种 IO 感知（IO-aware）的精确注意力（exact attention）算法，由 Tri Dao 等人在 2022 年的论文中提出。它通过分块（tiling）减少 GPU 高带宽显存（HBM）与片上 SRAM 之间的读写次数，在不牺牲模型质量的前提下加速 Transformer 训练。官方实现由 Dao-AILab 维护，并已演进到 FlashAttention-2、FlashAttention-3 与 FlashAttention-4。
思维链蒸馏（Chain-of-Thought Distillation，CoTD）是一种把大语言模型的逐步推理能力迁移到小模型上的训练方法：由大模型生成推理链，再用这些推理链微调小模型。ACL 2023 的 SCoTD 论文表明，参数量小几个数量级的学生模型也能从思维链提示中获益；LREC-COLING 2024 的 MoDE-CoTD 论文则提出用解耦的 LoRA 专家来缓解多任务蒸馏中的能力冲突。
分页注意力（PagedAttention）是一种受操作系统虚拟内存与分页机制启发而提出的注意力算法，用于管理大语言模型推理中的键值缓存（KV cache）内存。该算法由 arXiv 论文《Efficient Memory Management for Large Language Model Serving with PagedAttention》提出，并在其之上构建了 vLLM 服务系统。
对比解码（Contrastive Decoding）是一种免训练的解码方法，它通过同时使用一个强模型（专家）和一个弱模型（业余者），在生成时最大化两者对数似然之差，并施加合理性约束，从而改善开放式文本生成与推理任务的表现。该方法由 Li 等人于 2022 年提出，O'Brien 与 Lewis 于 2023 年将其扩展到推理任务。
KV 缓存（KV Cache）是自回归生成模型在逐 token 解码时复用键值向量计算结果的一种机制。Hugging Face Transformers 官方文档指出，它通过避免重复计算来降低计算开销、提升生成速度，并提供了多种 Cache 类以在显存占用与生成速度之间取舍。
上下文并行（Context Parallelism，CP）是 NVIDIA 官方文档描述的一种模型并行方法：它把神经网络激活值沿序列维度切分到多张 GPU 上，使每张 GPU 只保存一段序列的激活与必要的 Key/Value 对，从而降低长序列训练的内存占用与计算开销。
推测解码是一种加速自回归模型推理的采样算法，由 arXiv 论文《Fast Inference from Transformers via Speculative Decoding》提出。它借助更高效的近似模型先并行猜出若干候选词元，再由大模型并行校验，从而在不改变输出分布的前提下减少串行解码步数。
持续预训练（Continual Pre-training）指在已有语言模型的基础上，用新的（通常是无标注的）语料继续做预训练，使模型适配新领域或新任务，同时尽量不丢失原有能力。它要解决的核心问题是：如何让一个通用模型在获得新知识的同时，不被「灾难性遗忘」抹掉旧知识。
近端策略优化（PPO）是 John Schulman 等人在 2017 年论文中提出的一族策略梯度强化学习方法。它通过与环境的交互采样数据，再用随机梯度上升优化一个「替代」目标函数，其目标函数允许对同一批数据做多个轮次的小批量更新。论文称它具备信赖域策略优化（TRPO）的部分优点，但实现更简单、更通用，经验上的样本复杂度也更好。
无分类器引导（Classifier-Free Guidance，CFG）是一种在条件扩散模型与流匹配模型中权衡样本质量与多样性的引导方法。它由 Ho 与 Salimans 在论文《Classifier-Free Diffusion Guidance》中提出，核心做法是联合训练条件与无条件两个扩散模型，再组合两者的分数估计，从而无需额外训练图像分类器即可实现引导。
组相对策略优化（GRPO）是 DeepSeekMath 论文提出的一种强化学习后训练方法，属于近端策略优化（PPO）的变体。它通过对同一提示采样一组回答、用组内相对得分估计优势，从而在提升数学推理能力的同时降低 PPO 的内存开销。Hugging Face TRL 提供了对应的 GRPO Trainer 实现。
分组查询注意力（Grouped-Query Attention，GQA）是 arXiv 论文《GQA: Training Generalized Multi-Query Transformer Models from Multi-Head Checkpoints》提出的一种注意力机制，它让多个查询头共享同一组键值头，键值头数量介于多头注意力与多查询注意力之间，从而在解码速度与模型质量之间取得折中。
直接偏好优化（DPO）是一种用于语言模型对齐的训练方法，由 arXiv 论文《Direct Preference Optimization: Your Language Model is Secretly a Reward Model》提出。它把 RLHF 中「先训练奖励模型、再用强化学习优化策略」的两阶段流程，改写成一个只需偏好数据即可直接优化的分类式损失，从而省去显式奖励模型与训练中的在线采样。
ループエンジニアリングは、AIエンジニアリングにおける新しいパラダイムであり、大規模モデルを中心に自律的なループシステムを構築することを指します。これにより、AIは単発応答ツールから長期的な自律エージェントへと進化します。従来のエンジニアリングにおけるPDCAサイクルに類似しており、モデルは実行の基盤となります。
ハーネスエンジニアリングは、AIエンジニアリングにおける新しいパラダイムであり、大規模なモデルを中心に完全なオペレーティングシステムを構築し、それを単発的な応答ツールから長期的な自律エージェントへとアップグレードすることを指します。
UCP（Universal Commerce Protocol）は、Googleと多数のeコマース大手企業および決済プラットフォームが共同開発したオープンソースの標準プロトコルであり、次世代のプロキシコマースの発展を促進することを目的としています。UCPは標準化されたインターフェースとプロトコルを使用しています...