AB
AiBoss
ニュース

Runway 开源机器人模型 Praxis-1,以视频预训练驱动机械臂控制

Runway 以 Apache 2.0 许可开源机器人模型 Praxis-1 的权重与源代码,模型可接收相机图像、文本指令与位姿数据并输出机器人动作。官方自测显示其在 RoboLab-120 榜单成功率为 46.2%,但结果尚未经独立验证,模型仍会混淆相似物体、难以自主规划长任务。

核心事实

据 the-decoder.com 报道,AI 公司 Runway 已发布机器人模型 Praxis-1 的开放权重与源代码,采用允许商业使用的 Apache 2.0 许可。该模型接收相机图像、文本指令和机器人位置信息,据此预测环境变化并计算相应的机器人动作,并随新画面持续调整控制。Runway 称其为「World Action Model」(世界动作模型)。开发者需在 Hugging Face 注册并同意访问条款后下载,代码托管于 GitHub;除基础模型外,还提供面向不同机器人的预适配版本。

背景与影响

Praxis-1 建立在 Runway 的视频模型之上:先在普通视频中学习物体如何运动与交互,再用人类动作视频和机器人数据微调。Runway 表示,这一路线有望减少对昂贵机器人专用数据集的依赖。公司称,自 9 月下旬起,Standard Bots、Noble Machines 和 Ultra 已在人形机器人、工业机械臂和双臂仓储机器人上测试该模型。据其研究报告,适配 Franka 机械臂时使用了约 277 小时公开 DROID 数据集录像,双臂机器人则使用 1400 至 2600 小时训练素材。在 Nvidia RoboLab-120 榜单上,Praxis-1 成功率为 46.2%,同属世界动作模型的 FLUX 3 Action 为 42.9%。

限制与来源

上述测试均由 Runway 自行完成,结果尚未获得独立验证。Runway 报告也承认,模型有时会混淆外观相似的物体,面对模糊指令表现吃力,且尚不能可靠地自主规划复杂动作序列,长任务需逐步明确指令。硬件方面,标准版本需 80 GB 显存 GPU;据 GitHub 文档的显存估算,压缩版本或可运行于 32 GB 显存的 RTX 5090,但实际峰值占用尚未测量。此外,该路线是否真比无通用视频预训练的同类模型更省机器人数据,仍是未解问题。本文信息来自 the-decoder.com 对 Runway 发布与研究报告的报道,具体许可、下载条件与硬件要求以 Runway 官网及代码仓库当前信息为准。