SemIf - 开源的 AI 决策模型，复现 Jev 语义决策模式

SemIf是什么

SemIf（原 OpenJev）是开源的 AI 决策模型，用开源模型复现 TypeSafe 闭源 Jev 的语义决策接口模式。SemIf单次前向传播直接读取候选选项对应的 logits 打分，由服务端构造结构化结果；多个问题共享状态时还可复用前缀，提速近一个数量级。SemIf在 RTX 3090 上即可运行，提供浏览器演示，包含逐行可复现的基准、温度校准和 27B 模型桥接。

SemIf的主要功能

• 直接 logit 打分：一次前向传播读取候选选项的 logits 得到概率，不生成答案文本再解析，比自回归生成快约 5 倍。
• 共享状态复用：多个决策共享同一上下文时预填充一次前缀，再串行或并行评估各标准，吞吐量可提升近一个数量级。
• 运行时可定义决策：标准和选项描述随请求传入，无需微调或预定义任务，适用路由、重试判断等小型 agent 决策。
• 完全可审计：固定的 prompt、模型版本、prompt 哈希、逐行输出和已知失败全部提交在仓库，支持精确复现。
• 温度校准：内置按工作负载拟合的温度缩放，改善概率置信度与实际准确率的一致性。
• 多后端支持：支持 CUDA GPU、Apple Silicon（MPS/MLX）、CPU及浏览器 WebGPU 演示。

微信关注回复“开源”，加入AI开源项目交流群

如何使用SemIf

• 环境准备：安装 Python 3.10+、CUDA 及能容纳 4B BF16 模型的显卡。
• 安装项目：创建虚拟环境后执行 pip install -e '.[test]'。
• 准备输入：编写 JSONL 格式的决策文件，每行包含 id、state、question 和 options 候选列表。
• 运行打分：执行 semif-score --mode direct --model Qwen/Qwen3.5-4B --revision <固定版本> --input examples/decisions.jsonl --output results.jsonl 得到逐行选项概率、耗时和 prompt 哈希。
• 共享状态模式：当所有行 state 完全相同时改用 --mode shared，预填充一次前缀后并行评估所有标准。
• 校准应用：用项目自带脚本在目标工作负载上拟合温度缩放，使输出置信度与实际准确率匹配。

SemIf的核心优势

• 决策速度快：直接读取选项 logits 免去生成-解析流程，21 个二元决策仅需约 1 秒，比生成 JSON 快 5.2 倍。
• 共享前缀复用：一次预填充、多次分支评估，共享状态场景的吞吐量从 2.33 提升到最高 20.03 决策/秒。
• 零生成 token：不采样答案文本，杜绝 JSON 格式错误、解码循环和输出解析失败的问题。
• 硬件门槛低：冻结的 4B 模型单张 RTX 3090 即可运行，还支持 CPU、Apple Silicon 和浏览器 WebGPU。
• 完全开源可复现：所有 prompt、模型版本、逐行结果和已知失败均提交仓库，可逐条审计与验证。
• 置信度可校准：内置按工作负载的温度缩放，让概率置信度与实际准确率对齐，输出可直接用于自动化决策。

SemIf的项目地址

• 项目官网：https://openjev.com/
• GitHub仓库：https://github.com/TheoLeeCJ/SemIf-OpenJev

SemIf的同类竞品对比

SemIf的应用场景

• 客服工单路由：根据客户问题描述和账户状态，直接在”账号支持 / 计费支持”等队列选项上打分，实现毫秒级自动分派。
• Agent 动作防火墙：Agent 执行高风险操作前，对候选动作做二元判断，0.700 的复合准确率可承担第一层防线。
• 证据检索与排序：在代码库检索和企业知识库问答（0.929）中替代传统 reranker，一次前向给出候选文档得分。
• 推理结论核验：用于 NLI 类任务，判断”证据是否支持结论”，校准后置信度可直接驱动下游自动化。