AB
AiBoss
project

Raon-1-nano - KRAFTON 推出的 1.5B 有效参数韩英双语指令模型

Raon-1-nano 是 KRAFTON 发布的稠密语言模型,有效参数 1.5B、总参数 3.1B,主打韩英双语指令跟随、长上下文与工具调用,采用 Apache-2.0 许可,提供 GGUF、MLX、LiteRT-LM 等本地部署格式。

Raon-1-nano 是 KRAFTON 发布的一个稠密(dense)语言模型,按项目自述,其有效参数为 1.5B、总参数 3.1B(其中包含一张 1.5B 的逐层嵌入表)。它的定位很明确:在韩语和英语两种语言下跟随指令、维持对话上下文,并在对话中调用合适的工具。从能力取向看,它面向的是需要在本地或私有环境里跑一个体量不大、但要求听话、能记住上下文、能接工具的团队,例如做办公自动化、移动端控制类助手,或者需要在 Apple silicon 等终端设备上做推理的开发者。

需要先说明的是,本文所引用的能力描述、参数结构、部署方式均来自项目方自己的模型卡,属于项目自述,并非第三方评测结论。

维护者与状态

该项目由 KRAFTON 维护,托管在 Hugging Face 上,任务类型为 text-generation,框架标注为 transformers。仓库创建时间为 2026-10-29,最后更新时间为 2026-11-16。截至 2026-11-17 的数据读取时间,近 30 天下载量为 1510 次,点赞数为 140。许可证为 apache-2.0。

从时间线看,这是一个相当新的仓库:创建到最近一次更新不足三周,社区反馈规模仍处于早期阶段。事实表中没有给出独立的 release 记录,因此这里不对版本发布节奏做任何推断;使用者应以仓库页面上实际展示的文件与说明为准。

主要能力

据项目说明,Raon-1-nano 的能力可以归纳为以下几点:

  • 指令与上下文跟随:项目自述其在指令跟随、上下文跟随以及韩语对话等基准上领先于其所列的对比模型。这些数字来自模型卡自带的评测表,属于维护者自报结果,本文不复述具体分值。
  • 韩英双语:训练语料覆盖韩语与英语,项目方称在韩语优势之外也具备扎实的英语能力。
  • 工具调用:支持在对话过程中调用工具,项目方举的例子是办公类任务与移动设备控制。
  • 端侧部署:提供 GGUF、MLX 与 LiteRT-LM 三种格式用于本地推理,项目方明确提到包含 Apple silicon 平台。
  • 长上下文:原生支持最长 262,144 token 的上下文。

在结构上,模型卡描述其为混合稠密架构,24 层中有 18 层是线性注意力层、6 层是全注意力层。其中 Raon Delta Attention(RDA)是带独立擦除门与写入门、使用固定大小循环状态的门控 delta 规则线性注意力;Raon-mHC 则是对 DeepSeek 的流形约束超连接(mHC)做计算开销削减后的版本,用于加速训练。此外每层都有一个 256 维的小型逐层嵌入,在该层 MLP 之后用于调整输出;只有 6 层 MLA 保留 KV cache,BF16 下约为每 token 7 KiB。位置编码采用 NoPE,词表大小为 259,840,LM head 与输入嵌入共享权重。模型卡还说明,Hugging Face 上的 checkpoint 共 3.2B 参数,由 3.1B 主模型与 55M 的多 token 预测(MTP)模块组成。

训练路径方面,项目方称该模型由 Raon-1 mini preview(30B-A4B)经 MoE-to-Dense 剪枝与知识蒸馏得到,随后进行 3T token 的继续预训练,再经过监督微调、来自 Raon-1 mini preview 的 on-policy 蒸馏以及强化学习完成后期训练。

使用入口

模型权重与说明文档位于 KRAFTON/Raon-1-nano。

据项目说明,该模型支持 Transformers、vLLM、llama.cpp、MLX 与 LiteRT-LM 几种推理方式。Transformers 路径需要 Python 3.12 环境,模型卡示例中使用的组合为 PyTorch 2.13.0(CUDA 13.0)、Transformers 5.16.1 与 Accelerate 1.15.0,加载时需开启 trust_remote_code,并通过 chat template 的 enable_thinking 参数控制思考模式。vLLM 路径需要从 KRAFTON 维护的 vLLM 分支安装,并以 OpenAI 兼容接口对外提供服务;llama.cpp 路径使用对应的 GGUF 权重与分支构建,可在 Apple silicon、NVIDIA GPU、AMD GPU 或 CPU 上运行。

采样参数方面,项目方给出的建议是:通用场景(聊天、知识问答、指令跟随等)temperature 取 0.1、presence_penalty 取 1.5;智能体与代码场景 temperature 取 1.0、presence_penalty 取 0.0。模型卡特别提示该模型是为思考模式设计的,不建议关闭;输出长度上限同时包含思考过程与最终回答,因此长回答需要相应调高上限。

许可与限制

许可证为 apache-2.0,具体条款以仓库中的 LICENSE 文件为准。

已知限制方面,项目方在模型卡中明确提到:Transformers 示例使用的是纯 PyTorch 实现,无需安装 vLLM,但由于 RDA 需要顺序处理 prompt token,长 prompt 的 prefill 可能较慢。vLLM 示例针对的是单张 NVIDIA B300 GPU 与 BF16 权重,这属于示例配置,不应被理解为对其他硬件的支持承诺。此外,模型卡中列出的部分基准(如韩语办公任务与韩语聊天机器人评测)为内部基准,并未公开发布,相关结论无法由外部复现验证。

适用边界上,该模型面向韩语与英语两种语言,项目方并未声称覆盖其他语种;工具调用能力的具体表现也依赖调用方提供的工具定义与解析配置。对于需要多语言覆盖或需要第三方独立评测背书的场景,建议先做小规模验证再决定是否采用。