ニュース
英伟达研究者称超大上下文窗口是死路,定期摘要与定向检索效果相当
据 the-decoder 报道,英伟达研究团队认为,语言模型动辄上百万 token 的上下文窗口往往既过度又昂贵;在多项测试中,定期摘要加定向查找的效果与之大致相当。
核心事实
据科技媒体 the-decoder 报道,英伟达(Nvidia)的一个研究团队提出,语言模型不断扩大的上下文窗口是一条「死路」。上下文窗口指模型生成回复时同时「看到」的内容,相当于其工作记忆。该团队认为,把整本书一次性塞进上下文往往属于过度设计,成本也高;在多项测试中,定期生成摘要配合针对性查找,效果与直接使用超长上下文大致相当。
背景与影响
报道称,上下文窗口近年在快速膨胀:GPT-4 于 2023 年 3 月发布时上下文为 8,192 个 token,而报道提到的 GPT 5.6 Sol 已能处理约一百万个 token,约为前者的 120 倍,足以容纳托尔斯泰的《战争与和平》。这一趋势被厂商当作能力卖点,但长上下文会带来更高的计算与存储开销。若英伟达研究者的结论成立,那么在实际应用中,分层摘要、检索增强等方式可能比一味堆叠窗口更经济,也会影响模型设计与部署时的取舍。
限制与来源
上述结论来自英伟达研究团队的论文主张,经 the-decoder 报道转述,具体测试设置、对比指标与完整数据需以原始论文为准,本文未做独立验证。报道中提及的模型版本与 token 数字均引自原文,相关产品的实际能力与可用范围请以厂商官网当前信息为准。本文仅为技术动态介绍,不构成任何投资或采购建议。