快讯
llama.cpp 新增决策模型支持,提供 /v1/systemone 接口
ggml-org 宣布在 llama.cpp 中支持决策模型,新增 /v1/systemone 接口。客户端可提交文本或 JSON 等上下文和结构化问题,获取选项概率;图像能力取决于具体模型。
ggml-org 宣布 llama.cpp 新增决策模型支持,并提供 /v1/systemone 接口。与常规生成式回复不同,这类模型针对给定上下文和候选问题返回概率分布,可用于需要结构化判断的应用。
官方说明列出文本、JSON 等输入,也展示截图输入示例;但是否支持图像仍取决于所用模型,不能概括为所有决策模型都具备多模态能力。详情见 ggml-org 技术说明及 合并的实现 PR。