NVIDIA 发布 cuDLA Python 绑定，可在 Jetson AGX Orin 上直接调用 DLA 推理

核心事实

NVIDIA 在开发者技术博客中介绍了 cuda.bindings.cudla 模块。该模块随 CUDA Python 项目的 cuda-bindings 13.3.0 引入，是对 cuDLA C++ API 的轻量 Cython 封装，面向混合模式工作流，共暴露 13 个函数、9 种数据类型和 8 个枚举。开发者可在 Python 中创建 DLA 设备、加载已编译网络、注册显存缓冲区并提交推理任务，无需用 C++ 管理运行时。博客以图像分类为例，将推理生命周期拆为九个步骤：初始化 CUDA、以混合模式创建设备、从内存加载 loadable、读取张量描述符、分配 GPU 缓冲区、向 cuDLA 注册、拷贝预处理后的输入、在 CUDA 流上提交任务、同步并读回结果。

背景与影响

DLA 是固定功能加速器，擅长卷积、池化等常见算子，可把推理负载从 GPU 卸载，以改善能效并释放 GPU 算力。混合模式下，CUDA 流把 GPU 预处理、DLA 推理与 GPU 后处理按序编排。博客称同一套 cuDLA Python API 也适用于 NVIDIA RTX Spark，但相关平台支持情况仍以官方文档为准。在 Jetson Orin 上，底层 libcudla.so 由 JetPack 提供，无需单独安装 cuDLA SDK；仅编译模型时需要 TensorRT，运行已有 loadable 只需该运行时库。

限制与来源

博客说明，当前版本不支持需要 NvSci 缓冲区与同步原语的独立模式，请求该模式会抛出 CudlaError(ErrorUnsupportedOperation)。并非所有网络层都兼容 DLA，通常需要裁剪 ONNX 图中不兼容的首尾层。示例基于 TensorRT 11.4.1、CUDA 13.4 Update 1 与 JetPack 7.2.2 或更高版本，并指出 TensorRT 11 不再支持 --fp16 与 --int8 标志，精度由模型张量类型推导。Python 最低版本要求为 3.10。以上信息来自 NVIDIA 开发者博客，具体安装与版本要求请以官网当前信息为准。