Flide - 面向决策模型、以精确状态分叉加速推理的服务框架

Flide 是一个面向「决策模型」的推理服务框架，由 OmniJev 维护。按项目自述，它针对 Jev 风格的决策模型做了专门的推理优化，核心机制是「精确状态分叉」（exact state forking）：在保证每个回答与模型单独面对该问题时完全一致的前提下，复用请求之间共享的状态，从而降低延迟。它对外提供 /v1/systemone 接口，接收一段状态描述与若干问题，返回结构化的决策结果。适合需要把决策类模型（分类、判断、多选项选择）部署成在线服务、并且对单请求延迟敏感的工程团队。

维护者与状态

项目由 OmniJev 维护，仓库创建于 2026-10-24，最后一次提交在 2026-11-09。最新正式版本为 v0.1.11，发布于 2026-11-09。截至 2026-11-10 读取数据时，仓库获得 281 个星标。项目另有一个官网地址，用于承载文档与模型列表。

从时间线看，这是一个迭代节奏很快的早期项目：从 0.1.0 到 0.1.11 只用了半个多月，版本更新主要集中在扩充支持的模型家族与接口能力上。这意味着接口与模型清单可能仍在快速变化，接入前建议以仓库当前状态为准。

主要能力

以下内容均来自项目自述（README），属于维护者的说法，未经本站独立验证。

• 精确状态分叉加速：README 称，借助精确状态分叉，Flide 相比 vLLM 与 SGLang 最高快 9.5 倍，并且每个答案都与模型单独回答该问题时一致。这一「结果不变、只是更快」的定位是项目最主要的卖点。
• 决策式请求接口：服务暴露 /v1/systemone，请求体包含一个 state（例如一段工单描述）和一组 questions。每个问题可指定类型（如 choice 多选一、noul 是否类判断）、指令文本以及候选项及其说明。据项目说明，单个问题最多可支持 256 个选项，且一个请求体中可以携带多个问题。
• 覆盖多类模型：README 的模型表列出了三十余个模型家族，包括 OneJev、Open-Jev、Qwen3.5、Gemma 4 等通用或决策模型，以及 KnowLine、Drex、Lumma、mammoth 等支持图像输入的家族，OneJev 与 Xor 还标注支持视频输入。表中还给出了各模型在 DI、MultiRC、QuALITY 三个工作负载上相对其发布时所配引擎的中位延迟倍数。
• 服务端选项：项目说明中列出了若干运行参数，例如 --session-cache-gb 用于保留此前请求的状态以便智能体下一步只读取新增部分；--batch-invariant 保证同一请求无论与什么请求合批都得到相同比特结果，但会牺牲部分速度；--quantize fp8 可在 Ada、Hopper 与 Blackwell GPU 上以 FP8 运行 Qwen3.5；--frontends 可把 HTTP、渲染与分词拆到独立进程以服务大量客户端。
• 校验工具：据更新日志，0.1.6 起提供 flide verify，用于在用户自己的模型与请求上检查分叉是否精确。

使用入口

仓库地址为 OmniJev/Flide，官网为 flide.org，文档、完整模型表与全部选项说明以官网为准。

据 README 的快速开始，安装与启动方式如下（需要 Python 3.12 环境）：

uv venv -p 3.12 && source .venv/bin/activate
uv pip install flide torchvision
flide serve --model OmniJev/OneJev1.6-0.8B

模型表中任意模型都以同样方式启动，例如：

flide serve --model perplexity-ai/pplx-decider-flash-v1.2

服务启动后监听本地 8000 端口，可用如下请求调用 /v1/systemone：

curl http://localhost:8000/v1/systemone -H "Content-Type: application/json" -d '{
  "state": "Order #1182 arrived with a cracked screen. The customer asks for a refund and attached two photos.",
  "questions": {
    "action": {"type": "choice", "instructions": "What should support do next?", "criteria": {"refund": "refund the order", "replace": "send a replacement", "escalate": "ask a human"}},
    "urgent": {"type": "noul", "instructions": "Does this need a reply within the hour?"}
  }
}'

README 还提到一个邮件分诊示例：在单张 H200 上使用 OneJev1.6-0.8B，对 10,000 封邮件各回答八个问题，据项目自述总耗时 28 秒，单封约 10.0 毫秒。这些数字来自维护者自述，本站未做复现。

许可与限制

许可证为 Apache-2.0。README 说明 flide/kernels/gdn.py 中包含一个派生自 flash-linear-attention 两个内核（MIT 许可）的实现，相关第三方代码统一列在 THIRD_PARTY_NOTICES 中，二次分发时需留意这些声明。

已知边界与前置条件方面，据项目说明：Flide 面向的是决策类模型与 /v1/systemone 这一套请求范式，并非通用聊天补全服务的替代品；部分模型需要额外参数才能正确运行，例如 KnowLine 35B 需加 --quantize fp8，因为其发布版本即以 FP8 提供；--batch-invariant 会带来速度损失，属于一致性优先时的取舍；FP8 量化在文档中明确限定于 Ada、Hopper 与 Blackwell 架构的 GPU。README 中的加速倍数均为在单张 H200 上、针对特定工作负载测得的中位延迟对比，换硬件或换负载后表现可能不同。项目处于 0.x 阶段且版本更新频繁，接口与模型支持范围存在变动可能，生产接入前建议先阅读官网文档并用 flide verify 在自有模型上确认分叉的精确性。