AB
AiBoss站
project

Ornith-1.5 - 面向单卡部署的 122B MoE 推理与智能体模型

Ornith-1.5-122B 是 ornith-ai 发布在 Hugging Face 上的文本生成模型,采用 MoE 架构,项目自述可在单张 80GB GPU 上部署,支持 262,144 token 上下文与工具调用。本文整理其维护状态、自述能力、部署入口与 MIT 许可下的使用边界。

Ornith-1.5-122B 是 ornith-ai 发布在 Hugging Face 上的文本生成模型,任务类型为 text-generation,基于 transformers 框架。按项目自述,它是 Ornith-1.5 系列中能力最强、效率最高的成员,采用 122B 的 MoE 架构,目标是在单张 80GB GPU 上完成部署,并通过量化版本延伸到移动端。它面向的是需要自建推理服务、又希望控制硬件成本的团队:既要做通用对话与推理,也要跑代码、工具调用和长上下文任务。

维护者与状态

仓库由 ornith-ai 维护,托管在 Hugging Face 上。仓库创建时间为 2026-10-16,最后更新时间为 2026-10-21。截至 2026-10-23 的数据读取时间,近 30 天下载量为 4828,点赞数为 141。事实表中没有给出正式 release 信息,因此这里不对版本发布节奏作任何推断;需要确认版本状态的读者应直接查看仓库页面。

主要能力

以下内容来自项目自述(模型卡),属于维护者的说明,不是第三方评测结论。

  • 自改进训练路线:据项目说明,Ornith-1.5 在 Ornith-1.0 的基础上,把自改进循环从脚手架与 rollout 优化,扩展到任务生成、脚手架构建与解法 rollout 的联合优化;模型持续生成新的训练任务、发现有效解法,并通过强化学习改进策略。
  • 推理模型形态:模型卡称其为 reasoning model,默认在助手回合先输出一段 think 区块,再给出最终答案;配套的部署方案会把思维链放进独立的 reasoning_content 字段。
  • 工具调用:项目自述模型会输出格式良好的函数调用,服务端可解析为标准 tool_calls 字段,因此可以接入 OpenAI 风格的智能体流程。
  • 长上下文:模型卡写明支持最长 262,144 token 的上下文窗口;若输入输出合计超出该上限,项目建议用 YaRN 做 RoPE 缩放,缩放因子 4.0 时可用窗口约扩展到 1M token。
  • 移动端变体:模型卡提到同系列存在量化版本 Ornith-1.5-122B-Mobile,可在移动设备上边缘部署。

模型卡同时列出了一批基准测试成绩,涵盖代码、推理与智能体类任务。这些数字由维护者自行给出,评测配置也由维护者设定,本文不转述具体分值,也不做横向比较;有需要的读者应以仓库中的原始表格与脚注为准。

使用入口

模型权重与模型卡发布在 ornith-ai/Ornith-1.5-122B。

据项目说明,部署需要较新的运行时:Transformers 不低于 5.8.1,vLLM 不低于 0.19.1,SGLang 不低于 0.5.9。模型卡给出的 vLLM 启动方式如下(示例参数照原文):

vllm serve ornith-ai/Ornith-1.5-122B --served-model-name Ornith-1.5-122B --host 0.0.0.0 --port 8000 --max-model-len 262144 --gpu-memory-utilization 0.90 --enable-prefix-caching --enable-auto-tool-choice --tool-call-parser qwen3_xml --reasoning-parser qwen3 --trust-remote-code

SGLang 的启动方式为:

python -m sglang.launch_server --model-path ornith-ai/Ornith-1.5-122B --served-model-name Ornith-1.5-122B --host 0.0.0.0 --port 8000 --context-length 262144 --mem-fraction-static 0.85 --tool-call-parser qwen3_coder --reasoning-parser qwen3

服务起来之后,可以用任意 OpenAI 兼容客户端访问本地 /v1 端点,模型名填 Ornith-1.5-122B,api_key 对本地服务填任意非空字符串即可。项目建议的采样参数为:通用任务 temperature=1.0、top_p=0.95、top_k=20、min_p=0.0、presence_penalty=1.5、repetition_penalty=1.0;精确编码任务 temperature=0.6、presence_penalty=0.0,其余相同。若要多卡切分,可自行追加 tensor-parallel-size 或 tp 参数。

许可与限制

许可证为 mit。使用前仍建议核对仓库中的 LICENSE 原文与模型卡条款。

已知限制与适用边界(据项目说明):

  • 单卡 80GB 是项目给出的推荐部署条件;模型为 MoE 结构,显存与并行策略需要按实际硬件调整。
  • YaRN 在开源运行时中是静态实现的,同一缩放因子会作用于所有请求,可能轻微影响普通长度输入的质量。项目建议只在确实需要更长窗口时开启,并按目标窗口选择因子(目标窗口约为因子乘以 262,144)。
  • 模型默认输出思维链,接入时需要配置 reasoning parser,否则思维链会混在正文里;工具调用同样需要对应的 parser 才能解析为标准字段。
  • 模型卡中的基准成绩与评测配置均由维护者提供,评测细节(judge 模型、超时、上下文长度等)随任务不同而变化,不宜脱离脚注单独引用。