AI News

Safetensors 是 Hugging Face 官方文档描述的一种用于存储张量（tensor）的简单格式，它被设计为相比 pickle 更安全，同时保持零拷贝（zero-copy）的读取速度。本文依据官方文档介绍它的定义、出现背景、工作机制、典型用法与已知边界。

深度可分离卷积是一种把标准卷积拆成「逐通道卷积 + 逐点卷积」两步的卷积操作，由 arXiv 论文《Xception: Deep Learning with Depthwise Separable Convolutions》系统讨论。该论文把它解释为一种塔数极大的 Inception 模块，并据此提出 Xception 架构。

llms.txt 是一项网站内容组织提案，主张在站点根目录或任意路径下放置一个 /llms.txt 的 Markdown 文件，用简短的背景说明、指引和链接，把面向大语言模型（LLM）的内容集中到一个可被程序化解析的位置。它试图解决网页为人类而写、智能体难以高效提取干净文本的问题。

稠密段落检索（Dense Passage Retrieval，DPR）是一种用稠密向量表示问题和段落、并据此完成候选段落召回的方法，由 Karpukhin 等人在 2020 年的论文中提出。它把检索从稀疏词项匹配转向可学习的双编码器表示，在开放域问答中用于为阅读器挑选候选上下文。

AGENTS.md 是一种放在代码仓库里的说明文件，用来给编码智能体（coding agent）提供构建步骤、测试命令与代码约定等上下文。它由 AGENTS.md 官方规范提出，与面向人类的 README.md 分工，并已被多种 AI 编码工具采用。

滑动窗口注意力（Sliding Window Attention，SWA）是一种稀疏注意力模式，让每个词元只关注固定窗口内的邻近词元，从而把自注意力的计算复杂度从二次降为线性。两篇 arXiv 论文分别讨论了把全注意力模型适配到 SWA 的方法，以及 SWA 与线性注意力在长上下文任务上的对比。

段落重排序（Passage Re-ranking）是检索增强流程中的第二阶段排序步骤：先由召回模型取回一批候选段落，再用更强的模型对候选逐一打分并重新排列顺序。arXiv 论文《Passage Re-ranking with BERT》描述了用 BERT 做基于查询的段落重排序的一种实现，并报告其在 TREC-CAR 与 MS MARCO 段落检索任务上的结果。

无注意力Transformer（Attention Free Transformer，AFT）是 arXiv 论文《An Attention Free Transformer》提出的一种 Transformer 高效变体，它去掉了点积自注意力，改为把键与值先用一组可学习的位置偏置组合，再与查询做逐元素相乘，从而使内存复杂度对上下文长度和特征维度都呈线性。

图谱增强检索（GraphRAG）是一种基于知识图谱的检索增强生成方法，由论文《From Local to Global: A Graph RAG Approach to Query-Focused Summarization》提出。它用大语言模型从源文档中抽取实体知识图谱，并为紧密关联的实体群预生成社区摘要，从而回答针对整个文本语料的全局性问题。

SimCSE 是论文《SimCSE: Simple Contrastive Learning of Sentence Embeddings》提出的句向量对比学习框架，包含无监督与有监督两条路线。无监督路线把同一句话输入预训练模型两次，仅靠标准 dropout 制造噪声，让句子在对比目标中预测自身；论文报告该做法与先前的有监督方法表现相当。

测试时计算扩展指在模型参数固定不变的前提下，通过在推理阶段投入更多计算量来提升大语言模型输出质量的做法。它把「多花算力」从预训练阶段挪到推理阶段，让同一个模型在难题上表现更好，并引出推理算力与预训练算力如何权衡的问题。

ReAct 是 arXiv 论文《ReAct: Synergizing Reasoning and Acting in Language Models》提出的一种提示与交互方法，让大语言模型以交错的方式同时生成推理轨迹与任务动作。论文报告称，在问答与事实验证任务上，它通过与简单的 Wikipedia API 交互缓解了思维链推理中的幻觉与错误传播；在两个交互式决策基准上，其成功率高于模仿学习与强化学习方法。

思维链自一致性是一种替换思维链提示中贪心解码的解码策略：先对多条推理路径采样，再对采样路径做边缘化，选出最一致的答案。该策略由 arXiv 论文《Self-Consistency Improves Chain of Thought Reasoning in Language Models》提出，论文报告其在多个算术与常识推理基准上提升了思维链提示的表现。

工具调用（Tool Use）指语言模型自行决定调用哪些外部 API、何时调用、传什么参数，并把返回结果并入后续的 token 预测。arXiv 论文 Toolformer 提出用自监督方式让模型学会这一能力，接入计算器、问答系统、搜索引擎、翻译系统与日历等工具，在不牺牲核心语言建模能力的前提下提升零样本表现。

草稿模型是推测解码（speculative decoding）中的一类小型模型，负责先快速生成若干候选 token，再由目标模型并行验证，从而在不改变输出分布的前提下提升推理吞吐。vLLM 官方文档给出了以 draft_model 为方法的配置示例，arXiv 论文则讨论了固定草稿长度策略的局限与动态长度方案。

宪法式 AI（Constitutional AI，CAI）是 arXiv 论文《Constitutional AI: Harmlessness from AI Feedback》提出的一种训练无害 AI 助手的方法。它用一份规则或原则清单代替人工标注有害输出，通过监督学习与强化学习两个阶段让模型自我批评、自我修订，并用「AI 反馈强化学习」（RLAIF）训练偏好模型作为奖励信号。

模型无关元学习（Model-Agnostic Meta-Learning，MAML）是 Chelsea Finn、Pieter Abbeel 与 Sergey Levine 在 2017 年论文《Model-Agnostic Meta-Learning for Fast Adaptation of Deep Networks》中提出的一种元学习算法。它不限定模型结构，只要模型用梯度下降训练即可适用，目标是让模型仅用少量样本和少量梯度步骤就能适应新任务。

提示词注入（Prompt Injection）指用户或外部内容中的输入以非预期方式改变大语言模型行为或输出的安全漏洞。OWASP Gen AI Security Project 将其列为 LLM01:2025，并区分直接注入与间接注入两类；arXiv 论文 2302.12173 则系统研究了通过检索数据远程影响 LLM 集成应用的间接注入攻击。

块状稀疏注意力（Block-Sparse Attention）是一类把注意力计算按块（block）粒度裁剪、只对少数重要键值块做精确计算的长上下文推理加速方法。它针对的是注意力二次复杂度带来的算力与显存瓶颈，代表实现包括 Block Sparse Flash Attention（BSFA）与 Prism。

模型合并（Model Merging）是一种在权重空间直接组合多个已训练模型、无需额外训练即可得到多任务模型的技术。它把多个任务专用微调模型合成一个通用模型，推理成本与单个模型相当。本文介绍其动机、工作机制、TIES-Merging 与 mergekit 等实例，以及边界与常见误解。

掩码图像建模（Masked Image Modeling，MIM）是一种自监督学习技术：遮住图像中的部分信息（像素、图块乃至潜在表示），让模型依据可见部分的上下文预测缺失内容。它通常以自编码器为骨架，可归为重建与对比学习两类实现路径，在区域感知学习上表现突出，但像素级重建目标也带来高层语义不足等问题。

流匹配（Flow Matching）是 2022 年 arXiv 论文《Flow Matching for Generative Modeling》提出的一种生成建模方法，用于训练连续归一化流（Continuous Normalizing Flows, CNFs）。它通过回归固定条件概率路径的向量场来训练模型，不需要在训练过程中做数值模拟，因而可以在更大规模上训练 CNF。

注意力汇聚点（Attention Sink）指语言模型把显著的注意力分数分配给序列首个词元的现象，即使该词元在语义上并不重要。arXiv:2309.17453 观察到这一现象并据此提出 StreamingLLM；arXiv:2410.10781 进一步考察了它在预训练中的出现条件，并提出它更像一种存储额外注意力分数的键偏置。

扩散 Transformer（Diffusion Transformer，DiT）是 arXiv 论文《Scalable Diffusion Models with Transformers》提出的一类扩散模型，用 Transformer 替换扩散模型中常用的 U-Net 主干，在潜空间图块上运算。该论文以 Gflops 衡量前向计算复杂度，发现 Gflops 更高的 DiT 在 FID 上表现更好，其最大的 DiT-XL/2 在 ImageNet 512x512 与 256x256 类别条件基准上取得当时最优结果。