Ripple-65B-Preview - 65B 稠密 Transformer 的智能体编码预览模型

Ripple-65B-Preview 是 ricursiveAI 在 Hugging Face 上发布的开放权重语言模型，仓库中托管的是 BF16 精度的指令微调版本。据项目自述，这是一个 65B 参数的稠密 Transformer，从零预训练于 12 万亿 token，支持最长 1Mi（1,048,576）token 的上下文，发布重点放在智能体编码（agentic coding）能力上。它适合需要自行部署中等规模稠密模型、并在代码与工具调用类任务上做实验的开发者与研究者；由于是 Preview 版本，项目自述也说明其后训练相对轻量。

维护者与状态

该仓库由 ricursiveAI 维护，采用 apache-2.0 许可证。仓库创建于 2026-11-04，最后更新于 2026-11-06。截至 2026-11-07 的数据读取时间，近 30 天下载量为 2013，点赞数为 333。事实表中没有给出正式 release 的信息，因此这里不对版本发布节奏作任何推断；如需确认最新版本状态，应以仓库页面显示为准。

主要能力

以下内容均来自项目自述（模型卡），属于维护者的自我描述，未经本站独立验证。

• 模型规格：65B 参数稠密 Transformer，预训练语料为 12 万亿 token，以英文与代码为主，预训练序列长度 8K，支持最长 1Mi token 上下文。
• 架构取向：项目说明称其采用「thin-and-deep」比例，d_model 为 5120、共 80 层，并从类 Llama 架构转向类 Gemma 3N 架构以提升大规模训练稳定性；同时增加了注意力头数量、提高 SWA 与全局层比例、缩小 SWA 窗口，并引入 FFN 激活裁剪、门控注意力、全局 NoPE 与 value residuals。
• 后训练流程：据模型卡，流程包括 midtraining、长上下文、SFT、长上下文 SFT 与混合领域 RL，其中 RL 阶段步数为 700、序列长度 128K。
• 智能体编码：项目自述在 TerminalBench 2.1 上得分为 80.52，并称在部分智能体编码评测上超过参数量更大的开放权重模型。这些数字均为项目自报，评测口径与复现条件需读者自行核对。
• 部署取向：项目说明称模型与 NVIDIA 硬件协同设计，预训练与后训练全程保持约 40% MFU，使用简单分片、无自定义 kernel、无量化（BF16）；并称在 2×B200、batch=8 的条件下可达 250 tok/s 的生成速度（量化或自定义 kernel 之前）。
• 本地运行：模型卡称 65B 总参数可放入 NVIDIA DGX Spark 这类消费级硬件，并提供 NVFP4 checkpoint 与配套 Colab 作为上手入口。

使用入口

模型权重与说明文档发布在 Hugging Face 仓库：Ripple-65B-Preview。

据项目说明，仓库当前托管的是 BF16 指令微调模型；同一 Preview 发布还包含 NVFP4 数值格式的指令微调版本与 BF16 基础模型，分别位于不同仓库。使用方式上，模型卡提到提供 NVFP4 checkpoint 与 Colab 以便快速开始，但未在素材中给出具体的加载代码或推理框架命令，实际调用方式需以仓库页面中的说明为准。

许可与限制

许可证为 apache-2.0，具体条款以仓库中的 LICENSE 文件为准。

素材中写明的边界与限制包括：

• 这是 Preview 版本，项目自述后训练相对轻量，重点偏向智能体编码，其他能力维度可能未充分优化。
• 基础模型（Base Preview）是仅预训练 checkpoint，不含 midtraining 或合成 QA 数据，不适合直接当作对话模型使用。
• 预训练语料以英文和代码为主，非英文场景的表现未在素材中说明。
• 模型卡中的评测分数为项目自报，且项目自己也提到现代智能体评测受 harness、序列长度、摘要策略等因素影响，复现存在难度。
• 硬件方面，项目称可在 NVIDIA DGX Spark 等设备上运行，但未给出 BF16 与 NVFP4 各自的具体显存占用，部署前需自行评估。

本文中的能力描述与性能数字均引自项目自述，本站未对模型进行实际部署或测试。