AutoTrust-JEV-27B-v1.1 - 为选项打概率的文本决策模型

AutoTrust-JEV-27B-v1.1 是一个文本决策模型：它不生成自由形式的回答，而是为每个问题所附带的候选选项分配概率。据项目说明，模型支持的问题类型只有选择题与是/否两类，输入仅限文本。它适合需要结构化判定结果的场景，例如意图分类、工具选择、合同与临床文本推断等，也适合希望把模型输出直接接入打分或路由逻辑的工程团队。需要说明的是，以下关于能力与用法的描述均来自项目自述，并非中立评测结论。

维护者与状态

该项目由 autotrust 维护，托管在 Hugging Face 上，任务类型为 text-classification，推理框架标注为 vllm。仓库创建时间与最后更新时间均为 2026-10-17。截至 2026-11-08，近 30 天下载量为 133112，点赞数为 1251。事实表中没有对应的正式 release 记录，因此这里不描述版本发布情况。

主要能力

据项目说明，模型在 Decision Index 0.3 公开套件上完成了一次完整的本地评测，覆盖 37 个基准、140,178 条可计分请求，公开指数为 67.31，原始指数为 75.62。项目自述强调，原始指数与技能指数是两种不同指标，不应互换使用；技能指数对任务的随机水平做了校正，0 代表随机水平，100 代表满分。项目同时声明这是自报的本地结果，尚待维护者核验，且不报告私有或 Full 分数。

按项目自述，表现最突出的方向是工具选择、意图分类与日常自动化决策：

• 工具与自动化：该领域得分最高，为 85.19 技能点；其中 BFCL 工具选择为 96.25，API-Bank 的 API 使用决策为 87.36，家电控制模拟器为 89.77。
• 意图分类：CLINC150+OOS（含超出范围检测）为 97.06，BANKING77 银行意图分类为 93.63。
• 核查与推断：HoVer 声明核查为 78.24，NLI4CT 临床文本推断为 75.56，ContractNLI 合同推断为 74.80。
• 语言理解：该领域整体为 73.38 技能点，覆盖 9 个基准。
• 检索与分类：该领域整体为 66.97 技能点，覆盖 6 个基准。
• 知识与推理：该领域整体为 55.16 技能点，覆盖 11 个基准；项目说明这些结果针对选项选择，而非自由形式答案生成。
• 艺术与人类偏好：该领域整体为 51.08 技能点，覆盖 6 个基准。

项目自述也明确列出了弱项：HLE 接近随机水平，ChessBench、幽默偏好与共识排序仍是薄弱环节，并强调这些结果不构成相关任务的上限。项目建议在代表性应用数据上先行验证，再依赖其概率或决策，公开评测本身不足以证明概率校准或适用于高风险用途。

使用入口

模型仓库地址为 AutoTrust-JEV-27B-v1.1。据项目说明，模型通过 vLLM 提供服务，并通过仓库内附带的决策引擎查询，安装与启动方式如下：

pip install vllm==0.31.0 transformers==5.17.0 "startlux-decide @ git+https://github.com/StartLuxLabs/StartLux-Decision@cb1d11f1ac9e9b43b95ef3a6468fa29b607c40fd"
hf download autotrust/AutoTrust-JEV-27B-v1.1 --local-dir AutoTrust-JEV-27B-v1.1
bash AutoTrust-JEV-27B-v1.1/serve_vllm.sh AutoTrust-JEV-27B-v1.1

项目说明称，serve_vllm.sh 会启用 StartLux 前缀双向插件（STARTLUX_PREFIX_BIDIR=1），使模型按训练方式双向读取完整提示，并设置结果所依赖的若干开关：关闭前缀缓存、关闭分块预填充、启用 FlashAttention、处理对数概率（最多 255）。在 80 GB 显卡上建议以 MAX_LEN=32768 启动。项目同时提醒，vLLM 端点本身并不是决策 API，需要由 jev_vllm_engine.py 按模型提示格式渲染问题，请求一个受限于选项编码的 token，再把返回的对数概率转换为选项概率。安装 Decision Index 套件后，可作为引擎运行：

PYTHONPATH=AutoTrust-JEV-27B-v1.1 python -m decision_index run --engine jev_vllm_engine:JevVllmEngine \
  --option model=AutoTrust-JEV-27B-v1.1 --option url=http://127.0.0.1:8090/v1 --out runs/autotrust-jev-27b-v1.1

许可与限制

许可证为 apache-2.0。据项目说明，已知限制包括：仅支持选择题与是/否两类问题，输入仅限文本；工具选择适配器不应被理解为端到端的自主智能体评测；推理类结果针对选项选择而非自由生成；HLE 接近随机，ChessBench、幽默偏好与共识排序偏弱。项目还提示，评测中的延迟数据（中位数 64.8 ms、均值 178.8 ms、p95 800.5 ms）来自本地并发运行，请求可包含不同数量的问题，不构成部署时的延迟保证；不同服务栈与硬件之间也不支持直接比较延迟。