斯坦福团队开源 Memorilla：为冻结 LLM 提供 16 个潜在记忆令牌

核心事实

据 MarkTechPost 报道，斯坦福大学 SNAP 实验室（Jure Leskovec 团队，合著者来自多伦多大学、宾夕法尼亚大学和 MIT）开源了 Memorilla，一个面向冻结大语言模型的潜在记忆模块。该模块可训练参数约 1.941 亿，无论文档集合多大，始终只输出 16 个记忆令牌；编码器 Qwen3-Embedding-4B 与解码器 Qwen3-8B 全程保持冻结。代码、训练配方与检查点以 Apache 2.0 协议公开。

背景与影响

冻结模型只能使用上下文窗口内的信息：全上下文提示随历史增长而变慢，检索式方法则可能漏掉弱线索。Memorilla 走第三条路——先用冻结编码器对每篇文档编码一次，再由 16 个学习槽位通过 2 层、8 头交叉注意力读取问题与整个文档库，最后投影进解码器输入嵌入空间并前置到问题之前。据论文主表（研究团队自报，所有基线使用同一冻结 Qwen3-8B），FactKG 准确率 84.33%，高于全上下文的 80.43%；PersonaMem-v2 为 44.60%，次优方法 xRAG 为 30.90%；8 项基准平均 49.68。团队也承认短板：PubMedQA 上为 59.00%，低于 LLMLingua-2 的 69.00%；MemoRAG 在 PersonalizationV4 与 NarrativeQA 上领先。速度方面，单张 H100、512 篇文档时回答耗时 0.74 秒，全上下文则从 0.75 秒增至 19.9 秒。

限制与来源

上述分数均为研究团队自报，尚未见独立复现。运行环境为 Linux + CUDA GPU + Python 3.11，快速上手需单卡 80GB（配方在 H100 80GB 上跑通），首次运行约下载 25GB 模型；素材未披露量化版本，也未提供托管 API。检查点须与训练时对应的解码器配套使用，自定义数据需特定 parquet 字段。具体部署要求、许可证与可用性请以项目官网和仓库当前信息为准。本文不构成任何投资或采购建议。