AB
AiBoss
Wiki

什么是视觉词元压缩(Visual Token Compression)?

视觉词元压缩(Visual Token Compression)指在多模态模型与视觉-语言-动作模型中,对图像编码器产生的视觉词元进行裁剪、合并或重构,以减少冗余计算的技术方向。它要解决的是视觉词元数量庞大带来的推理低效问题。arXiv 上的两项工作分别给出了统一的评测基准 UniPruneBench 与面向机器人操作的指令引导压缩框架 Compressor-VLA。

视觉词元压缩(Visual Token Compression)是指在大型多模态模型(Large Multimodal Model, LMM)与视觉-语言-动作模型(Vision-Language-Action, VLA)中,对图像编码器输出的视觉词元(visual token)进行筛选、合并或重构,从而在尽量保留任务所需信息的前提下减少参与后续计算的词元数量的技术方向。它要解决的问题是:图像编码器往往把一张图切分成大量视觉词元,这些词元在推理时带来显著的计算与延迟开销,而其中相当一部分对当前任务是冗余的。

为什么重要

大型多模态模型通常由视觉编码器把图像转成一系列词元,再与文本词元一起送入语言模型。图像分辨率越高、切片策略越细,视觉词元的数量就越大,预填充(prefill)阶段的计算量和显存占用随之上升。arXiv 论文《Can Visual Input Be Compressed? A Visual Token Compression Benchmark for Large Multimodal Models》在摘要中指出,LMM 常常因为图像编码器引入的大量视觉词元而遭受严重的推理低效。

在机器人等具身场景中,这一问题更为突出。arXiv 论文《Compressor-VLA: Instruction-Guided Visual Token Compression for Efficient Robotic Manipulation》指出,视觉-语言-动作模型已成为具身智能中的一种有力范式,但处理冗余视觉词元带来的巨大计算开销,仍是实时机器人部署的关键瓶颈。

在视觉词元压缩被系统研究之前,剪枝(pruning)与合并(merging)等词元压缩方法已经出现,并被认为在降低冗余方面有前景。但上述基准论文同时指出,这类方法的评测长期处于碎片化、不一致的状态:不同工作使用不同的模型、数据集与指标,结果难以横向比较。这构成了该方向需要统一评测协议的直接动因。

工作机制

视觉词元压缩并非单一算法,而是一类做法的统称。从素材涉及的两项工作看,可以从以下几个层面理解其机制。

词元层面的裁剪与合并

最直接的做法是在视觉词元序列上做剪枝或合并:按某种重要性度量丢弃部分词元,或把相近的词元聚合成一个。基准论文把剪枝与合并列为代表性的压缩算法类别,并在统一协议下对十种代表性压缩算法进行比较。需要注意的是,该论文的实验结论之一是随机剪枝(random pruning)是一个出乎意料的强基线,这说明重要性度量的设计并不天然优于随机选择。

指令条件下的混合压缩

Compressor-VLA 提出了另一种思路:压缩由自然语言指令动态调制,使模型自适应地浓缩与任务相关的视觉信息。该框架由两个压缩模块组成:语义任务压缩器(Semantic Task Compressor, STC)负责提炼整体的、与任务相关的上下文;空间细化压缩器(Spatial Refinement Compressor, SRC)负责保留细粒度的空间细节。论文称,这一设计的目标是同时保留整体语境与精确动作所需的细节,而任务无关的通用剪枝方法难以做到这一点。

评测层面的标准化

UniPruneBench 是上述基准论文提出的统一、可扩展的视觉词元剪枝基准。按论文描述,它提供跨六个能力维度、十个数据集的标准化协议,覆盖十种代表性压缩算法与三个 LMM 系列(LLaVA-v1.5、Intern-VL3、Qwen2.5-VL);除任务准确率外,还纳入运行时与预填充延迟等系统级指标,以给出更全面的视图。

典型例子

  • UniPruneBench:面向多模态大模型视觉词元剪枝的统一基准,覆盖六个能力维度、十个数据集、十种压缩算法与三个模型系列,并测量运行时与预填充延迟。该论文报告的四点发现包括:随机剪枝是强基线;没有单一方法在所有场景中持续领先;剪枝敏感度随任务差异显著,其中 OCR 最为脆弱;剪枝比例是决定性能退化的主导因素。
  • Compressor-VLA:面向 VLA 模型的指令引导混合压缩框架,由语义任务压缩器与空间细化压缩器两个模块构成。论文称其在 LIBERO 基准上取得有竞争力的成功率,同时相比基线减少 59% 的 FLOPs、视觉词元数量减少 3 倍以上;并在双臂机器人平台上的真实机器人部署中验证了仿真到现实的迁移能力与实用性。

上述数字与结论均出自对应论文的摘要,属于作者自述的实验结果,尚未在本词条中独立复核。

边界与常见误解

第一,视觉词元压缩不等于无损压缩。基准论文的结论明确指出剪枝比例是性能退化的主导因素,且不同任务对剪枝的敏感度差异显著,OCR 类任务最为脆弱。因此把压缩视为「几乎不损失精度」的通用手段是一种误解。

第二,不存在普适最优的压缩算法。该基准论文明确报告没有单一方法在所有场景中持续优于其他方法,随机剪枝甚至是强基线。这意味着选型必须结合具体模型、任务与压缩比例来评估,而不能照搬某一篇论文的结论。

第三,任务无关的压缩有其局限。Compressor-VLA 的作者认为,标准词元剪枝这类任务无关方法难以保留任务关键视觉信息,这正是其引入指令条件机制的理由。这一判断属于该论文的主张,而非领域共识。

第四,压缩收益需要连同系统级代价一起衡量。基准论文把运行时与预填充延迟纳入指标,说明准确率之外的效率表现同样是评价的一部分;只看词元削减倍数可能高估实际收益。

第五,评测结论受协议约束。UniPruneBench 覆盖的是三个 LMM 系列与十个数据集,其结论的适用范围以该设定为界,不宜直接外推到未纳入的模型或模态。

参考资料