AB
AiBoss站
project

Alpamayo2-Edge - 面向车载部署的紧凑型推理视觉-语言-动作模型

NVIDIA 在 Hugging Face 上发布的 Alpamayo2-Edge 是一个约 2B 参数、带自适应推理能力的视觉-语言-动作模型,据项目说明可生成带因果解释的驾驶轨迹,并支持在 NVIDIA DRIVE AGX Thor 上做微调与车载部署。

Alpamayo2-Edge 是 NVIDIA 发布在 Hugging Face 上的一个视觉-语言-动作(VLA)模型,任务类型为机器人(robotics)。据项目说明,它面向自动驾驶系统的开发者与研究者,用一套紧凑的推理模型承担车载规划与决策:输入多相机图像、导航指令与自车运动历史,输出未来若干秒的行驶轨迹,同时给出「因果链」式的驾驶推理文本,也能回答关于驾驶场景的自由提问。它被定位为微调的起点,以及在车载平台上做高效部署的基础模型。

维护者与状态

该模型由 nvidia 维护,托管在 Hugging Face 模型仓库。仓库创建时间为 2026-08-12,最后更新时间为 2026-11-10。截至 2026-11-19 读取数据时,近 30 天下载量为 2667,点赞数为 109。事实表中没有单独列出正式 release 版本号,模型卡中给出的版本描述为「Alpamayo 2 Edge 2B trained」,并注明 Hugging Face 上的发布日期为 2026-11-10。

主要能力

以下能力均据项目自述(模型卡)整理,未经本站独立验证。

  • 带推理的轨迹生成。模型采用「自适应推理」方式,在输出驾驶轨迹的同时生成因果解释文本(模型卡称 Chain-of-Causation)。轨迹接口返回 64 个路点,覆盖 0.1 秒至 6.4 秒、间隔 0.1 秒,每个路点包含自车坐标系下的 XYZ 位置与 3×3 旋转矩阵;每个轨迹候选各自带一段独立采样的推理文本。
  • 动作解码方式。据模型卡,动作专家逐步预测加速度与曲率,再由一个独轮车模型在航向动作空间中积分:位置沿行驶方向(后轴行进方向)推进,z 保持查询时刻高度,仅偏航的旋转用于估计车身朝向。
  • 场景问答。除轨迹外,模型可对驾驶场景做自由形式的视觉问答,输出变长文本。
  • 多相机、多时刻输入。轨迹预测使用六路相机、每次观测 22 帧图像:前视广角与前视长焦(相机 ID 1 与 6)各取 −2、−1、−0.5、−0.1、0 秒五帧,交叉左、交叉右、后左、后右(相机 ID 0、2、3、5)各取 −1、−0.1、0 秒三帧;另需一条文本导航指令,以及查询时刻自车坐标系下、从 −1.9 秒到 0 秒、间隔 0.1 秒的 20 个历史自车位姿。自由问答使用同样的六路相机,每路四帧。
  • 架构与精度。模型卡给出的参数量为:骨干 2.45B(语言模型 1.96B、SigLIP2 视觉编码器 0.41B、投影器 0.08B),动作专家 0.2B,权重精度 BF16;骨干基于 NVIDIA Cosmos 3 Edge,动作解码器为扩散式。
  • 可微调、可车载部署。项目说明称其支持微调,并可在 NVIDIA DRIVE AGX Thor 上做高效车载部署。

使用入口

模型权重与模型卡发布在 Hugging Face:nvidia/Alpamayo2-Edge。

据模型卡,运行环境为 Linux、Python 3.12、PyTorch 2.8.0 与 torchvision 0.23.0、Hugging Face Transformers 5.17.0;注意力默认使用 PyTorch SDPA,FlashAttention 2.8.3 为可选项,但加速推理需要它。推理前需注意两点:驾驶提示以空的思考块结尾,模型在其后直接写驾驶推理,自由问答提示则不含该块;应用 checkpoint 的对话模板时要设置 enable_thinking=False,因为模板默认开启思考。图像需带采集时间戳,提示中会编码为相对时间标签,推理代码会按每路相机的像素预算缩放并用 checkpoint 处理器的均值与标准差归一化。

许可与限制

许可证按事实表为 openmdw-1.1。模型卡另说明模型权重采用 OpenMDW-1.1,源代码采用 Apache License 2.0,具体条款以仓库中的许可文件为准。

已知限制与前置条件(据项目说明):

  • 硬件验证范围窄。模型卡称仅在 1 张 NVIDIA H100 80GB HBM3 上测试过,其他 GPU 架构尚未验证;该配置下测得 GPU 进程峰值内存 12.06 GiB,建议至少 16 GB 显存,且内存占用会随配置变化。
  • 依赖 NVIDIA 加速栈。模型卡表示模型针对 NVIDIA GPU 加速系统设计与优化,借助 CUDA 等框架获得比纯 CPU 方案更快的训练与推理。
  • 需按用例补充测试。模型卡强调,把基础模型或微调模型集成进 AI 系统前,需用具体用例数据做额外测试,并按 V 模型方法在单元与系统层面迭代验证,以满足安全与合规要求。
  • 输入规格固定。轨迹预测依赖指定的六路相机、帧时间点与 20 个历史位姿,输入不匹配时无法直接套用。

模型卡还列出了若干评测结果,例如 LingoQA 上的 Lingo-Judge 得分 75.2、PhysicalAI-AV 数据集 1392 个样本上 5 秒 minADE_6 为 0.52 米等。这些数字均为项目自述,本站未复现,引用时请以模型卡原文为准。