qwenGPU 将 45 层编译 GPU 嵌入 Qwen3.5-2B 权重，可直接运行 CUDA
开发者 Vixhal 发布实验性项目 qwenGPU，把一台 4 通道 SIMT GPU 编译进 Qwen3.5-2B 的权重中，模型前向传播内可直接执行由 PTX 降级的 CUDA。项目以 MIT 许可开源，所有性能与准确率数据均为开发者自述。
qwenGPU：把 GPU 编译进模型权重
开发者 Vixhal（@TheVixhal）在 GitHub 上发布实验性项目 qwenGPU，以 MIT 许可开源。该项目在 Qwen3.5-2B 原有的 24 层之上，前置 45 层由编译器计算、未经训练的层，合计 69 层，把一台 4 通道 SIMT GPU 直接编译进模型权重。据项目说明，模型在自身前向传播中运行真实的 CUDA——由 clang 编译为 NVIDIA PTX 后再降级为机器块，宿主只负责编译与加载，不参与计算。
这台 GPU 每通道 15 个可用寄存器、4 级流水线、32 块 ROM 与 126 个内存字，支持整数运算、谓词、分支与循环，以及共享内存、atomicAdd、__syncthreads() 与 warp shuffle。其状态寄居于 Qwen3.5 自身的 Gated DeltaNet 线性注意力层：门保持开启、写入强度为 1、键为 one-hot，使每次更新恰好覆盖一行，从而把循环状态当作寄存器、程序 ROM 与全局内存使用。
背景与影响
这一思路延续了把计算机器编译进 Transformer 权重的探索。据文章对比，Qwenputer 将 32 位 RISC-V CPU 编译进 Qwen3.5-4B，Percepta 则把 WebAssembly 解释器嵌入自定义 Transformer。qwenGPU 的差异在于目标是一台 SIMT GPU，且宿主完全不承担计算。对开发者而言，它检验的是「精确计算发生在预训练模型内部，而非其旁边」这一命题。
据开发者自述，在 Apple silicon 的 MPS 后端以 bf16 运行时，参考解释器在 49 个测试内核上与 NVIDIA Tesla T4 全部一致；文本漂移约为 KL 7e-4；普通模式下 24 道抽样对话问题中 20 道给出由 GPU 计算的数值，进阶模式下 5 道题中 4 道一次写对内核。速度约为每秒 10 至 15 个 token。上述数字均为自报，且不同项目的速度基于不同硬件与 token 类型，不可直接比较。
限制与来源
项目 README 明确提醒，2B 模型的 CUDA 生成仍不可靠；进阶模式还需 clang 的 NVPTX 后端，快速上手要求 Python 3.11+、uv、just 与约 16 GB 空闲内存，且未发布预编译 checkpoint，需自行构建。运行环境、许可与功能细节请以官方仓库与模型卡当前信息为准。本文信息来自 MarkTechPost 报道及项目公开说明，尚未获独立验证。