NVIDIA 发布 TensorRT Edge-LLM：几条命令在 DGX Spark 上跑边缘 AI 模型
NVIDIA 开发者博客介绍 TensorRT Edge-LLM，称可通过 trtedge 命令行工具在 DGX Spark 64GB 上下载模型、构建 TensorRT 引擎并启动本地推理服务，同一运行时也面向 Jetson Thor 等边缘平台部署。
核心事实
NVIDIA 开发者博客发布教程，介绍 TensorRT Edge-LLM 这一轻量级 C++ 推理运行时。文章称，开发者可在 DGX Spark 64GB 上通过 trtedge 命令行工具，用几条命令下载所选模型并构建针对 Spark 优化的 TensorRT 引擎，随后在终端中进行对话测试，或通过本地 OpenAI 兼容 API 服务供应用原型调用。教程以纯文本模型 NVIDIA Nemotron-3.5 Lightning 为例，并演示启用 DSpark 投机解码。
背景与影响
文章称，TensorRT Edge-LLM 将同一套推理框架用于 Spark 上的开发，以及 Jetson Thor、DRIVE AGX Thor、IGX Thor 等平台的部署，面向内存、功耗与延迟预算受限的物理 AI 场景，例如车内状态监测、机器人环境理解与产线设备协同。教程列出的前置条件包括受支持的 NVIDIA 软件栈、CUDA 13、10.x 系列中 10.16.1.11 或更新版本的 TensorRT，以及 Python 3.10 至 3.12；示例基于 TensorRT Edge-LLM 0.11.1 与 TensorRT 10.16.1.11 测试。首次启动需等待约 21GB 的模型下载与引擎构建，文件默认存放于 ~/.cache/tensorrt-edgellm。
限制与来源
文章给出的性能数据为 NVIDIA 自身在 DGX Spark 64GB、DGX OS 7.6.0 环境下的测量结果：启用三个草稿 token 的 DSpark 后，HumanEval 提示的平均生成速度由 73.4 提升至 126.9 tokens/s，推理期间系统峰值内存为 27.9GB（含操作系统）。这些数字为特定配置下的单次测量，不代表其他硬件或工作负载的表现。支持的模型清单、版本要求与平台可用性以 NVIDIA 官方文档和官网当前信息为准。本文依据 NVIDIA 开发者博客教程整理，未做独立验证。