AB
AB
AiBoss站

全部分类

project

AutoTrust-Decider-Pro-Vision-27B-v1.1 - 为选项打概率的文本决策模型

AutoTrust-Decider-Pro-Vision-27B-v1.1 是 autotrust 发布在 Hugging Face 上的文本决策模型，任务类型为 text-classification，采用 vLLM 部署。据项目说明，它不生成自由文本，而是为每个问题附带的选项分配概率，适用于意图分类、工具选择等结构化判断场景。

AutoTrust-Decider-Pro-Vision-27B-v1.1 是维护者 autotrust 发布在 Hugging Face 上的一个文本决策模型，仓库标注的任务类型为 text-classification，推理框架为 vLLM。按项目自述，它的定位是「结构化决策」：模型不生成自由形式的回答，而是为每个问题随附的候选选项分配概率，再由调用方根据概率做出选择。据项目说明，它支持的问题类型为选择题与是/否判断，输入仅限文本。适合需要把判断结果落成可比较数值的场景，例如意图分类、工具或 API 选择、条款与声明核验等，而不是开放式问答或长文生成。

维护者与状态

该仓库由 autotrust 维护，创建时间与最后更新时间均为 2026-10-17。截至 2026-11-12 的数据读取时间，仓库近 30 天下载量为 140120 次，点赞数为 1468。事实表中未列出正式 release 版本信息，因此这里不对版本节奏作推断；仓库名称中的 v1.1 是项目自身的命名，并非来自 release 记录。

需要说明的是，模型卡中的评测结果由维护者自行报告，项目自述其状态为「self-reported local result; pending maintainer verification」，即本地自测结果，尚待维护者核验。阅读任何分数时都应带上这一前提。

主要能力

以下能力描述均来自项目自述的模型卡，属于维护者陈述，不是第三方独立评测。

  • 选项概率输出：模型对每个问题给出的候选选项返回概率分布，模型卡称其报告的是选项概率，不生成思维链文本。
  • 工具与自动化决策：据项目说明，这是评测中得分最高的方向，涉及工具选择、API 使用判断、何时调用工具以及家电控制模拟等任务。
  • 意图分类：模型卡列出包括越界意图检测在内的意图分类任务，以及银行领域的意图分类。
  • 语言理解与文本推理：涵盖自然语言推理、合同推断、临床文本推断、实体识别与反讽检测等任务类型。
  • 声明核验与检索分类：模型卡提到声明核验、幻觉检测与检索排序类任务。

模型卡同时给出了自评的短板：在部分高难度推理与主观偏好类任务上表现较弱，接近随机水平；并明确提醒，工具选择类适配任务不应被理解为端到端的自主智能体评测。项目自述还建议，在依赖其概率或决策之前，应先在具有代表性的应用数据上做验证，公开评测本身不足以证明概率校准或适用于高风险场景。

使用入口

模型权重与模型卡发布在 Hugging Face：AutoTrust-Decider-Pro-Vision-27B-v1.1。

据项目说明，部署方式为先用 vLLM 起服务，再通过仓库附带的决策引擎发起查询。模型卡给出的安装与启动流程大致如下（命令照素材原文，未做改动）：

pip install vllm==0.31.0 transformers==5.17.0 "startlux-decide @ git+https://github.com/StartLuxLabs/StartLux-Decision@cb1d11f1ac9e9b43b95ef3a6468fa29b607c40fd"
hf download autotrust/AutoTrust-JEV-27B-v1.1 --local-dir AutoTrust-JEV-27B-v1.1
bash AutoTrust-JEV-27B-v1.1/serve_vllm.sh AutoTrust-JEV-27B-v1.1

项目自述称，启动脚本会开启前缀双向插件，使模型按训练时的方式双向读取整个提示，并设置结果所依赖的若干参数：关闭前缀缓存、关闭分块预填充、启用 FlashAttention、处理对数概率。模型卡提到在 80 GB 显存卡上以 MAX_LEN=32768 启动。

项目说明还强调，仅启动 vLLM 端点并不等于决策 API：需要由 jev_vllm_engine.py 按模型的提示格式渲染问题，请求一个受限于选项编码的 token，再把返回的对数概率转换为选项概率。配合评测工具包时，可按引擎方式运行：

PYTHONPATH=AutoTrust-JEV-27B-v1.1 python -m decision_index run --engine jev_vllm_engine:JevVllmEngine \
  --option model=AutoTrust-JEV-27B-v1.1 --option url=http://127.0.0.1:8090/v1 --out runs/autotrust-jev-27b-v1.1

许可与限制

许可证为 apache-2.0，按事实表原样记录。

限制方面，据项目说明：输入只支持文本，问题类型限于选择题与是/否判断；模型输出是选项概率，不产生解释性文本，因此不适合需要理由说明的场景。模型卡列出的评测环境为单张 NVIDIA B300、单服务器 16 并发客户端、vLLM 0.31.0，并声明其中的延迟数字是本地并发运行结果，不是标准化榜单硬件测量，也不构成部署时的延迟保证。项目自述还指出，不同服务栈与硬件之间不支持直接比较延迟。

此外，模型卡明确提示部分任务表现较弱，且公开评测不能确立这些任务的上限；在用于高风险决策前，需要自行在业务数据上验证校准情况与适用性。

返回