Raon-1-mini-preview - KRAFTON 从零训练的 30B-A4B 混合专家语言模型

Raon-1-mini-preview 是 KRAFTON 发布的一款文本生成模型，采用混合专家（MoE）架构，据项目说明由 KRAFTON AI 从零训练，属于 Raon 开放模型家族的一员。它面向需要长上下文、多语言（尤其是韩语）对话能力，以及工具调用与智能体工作流的开发者与研究者。需要先说明的是，据模型卡自述，这是一个预览版本而非最终模型，规格与结果在正式版发布前可能发生变化。

维护者与状态

该模型由 KRAFTON 维护，托管在 Hugging Face 上，任务类型为 text-generation，主要框架为 transformers。仓库创建于 2026-10-21，最后更新于 2026-10-24。截至 2026-10-26 的数据读取时间，近 30 天下载量为 1177 次，点赞数为 186。事实表中未列出正式 release 信息，因此这里不对版本发布节奏作额外推断；模型卡本身也明确标注为 preview 版本。

主要能力

以下能力均来自项目自述（模型卡），未经本站独立验证：

• 推理与思考模式：模型内置 thinking 模式，项目说明称其在数学与科学类基准上表现领先，并建议不要关闭思考模式。
• 指令遵循与搜索：据项目说明，在指令遵循与搜索类基准上优于其对比模型。
• 多语言：训练语料覆盖韩语、英语、日语、中文、西班牙语、法语和泰语，项目自述韩语表现强、英语能力扎实。
• 智能体执行：支持工具调用，用于智能体工作流，模型卡称支持 Hermes Agent、Pi 与 OpenCode。
• 投机解码：随模型提供一个 DFlash2 草稿模型，用于加速投机解码。
• 量化格式：提供 MXFP8 与 NVFP4 两种量化格式，模型卡称 NVFP4 版本可在单张 32 GB 显存的 NVIDIA RTX 5090 上推理。

架构方面，模型卡给出的规格为：总参数 28.8B，每 token 激活 4.3B（128 个路由专家中激活 6 个，另加 1 个共享专家）；共 25 层，其中 18 层为线性注意力、7 层为全注意力；采用无位置编码（NoPE）；词表大小 259,840；原生上下文长度 262,144 token。项目还介绍了自研的 Raon Delta Attention 与 Raon-mHC 两项组件，称前者改善长上下文表现、后者降低训练计算开销。

使用入口

模型仓库地址为 KRAFTON/Raon-1-mini-preview。据模型卡说明，仓库为受限访问（gated），需先在页面上申请一次访问权限（审批自动通过，覆盖该系列全部预览仓库），然后登录 Hugging Face 才能下载：

pip install -U huggingface_hub
hf auth login

模型卡称支持 Transformers、vLLM、llama.cpp 与 MLX 四种推理方式，并给出了 Transformers 的示例：安装指定版本的 transformers 与 accelerate 后，通过 AutoModelForCausalLM 与 AutoTokenizer 加载，调用时需设置 trust_remote_code=True，并在 chat template 中开启 enable_thinking=True。模型卡推荐的采样参数为 temperature 1.0、top_p 0.95、top_k 20、repetition_penalty 1.0、min_p 0；presence_penalty 在编码与数学任务中取 0，其余任务取 1.5。模型卡还提示，presence_penalty 由其远程代码实现，因为 Transformers 本身没有内置该参数。

许可与限制

许可证为 apache-2.0。使用前需要注意的边界条件（据项目说明）：

• 这是预览版本，规格与评测结果可能在正式版前调整。
• 模型仓库为受限访问，需申请并登录后才能下载权重。
• 模型为思考模式设计，项目不建议关闭 thinking。
• 量化版本对硬件有明确要求：模型卡称 NVFP4 格式可在单张 32 GB 显存的 RTX 5090 上运行；MXFP8 版本在 32 GB 显卡上的具体用法，素材中未完整给出。
• 模型卡中的基准分数、投机解码加速比等数据均为项目方自述，测试条件（如硬件、推理框架版本、并发数）由项目方设定，本站未做复现。

总体而言，这是一个面向长上下文、韩语与英语对话、工具调用场景的开放权重模型，适合希望自行部署并评估 MoE 架构推理效率的团队；但由于处于预览阶段且仓库受限，生产环境采用前建议先按模型卡给出的参数配置做小规模验证。