Databricks 发布 Genie Ontology 基准：准确率 1.6 倍、Token 用量减半

核心事实

Databricks 于 11 月 11 日发布博客，介绍其与 Turing 合作构建的企业数据智能体基准。据该博客，在同一个实时 Databricks 工作区中，Genie 的任务通过率为 91%，两个前沿智能体分别为 45% 和 58%；Genie 平均每次运行耗时 100.3 秒，另两者为 434.6 秒和 306.5 秒，平均 Token 用量为 431,829，另两者为 889,019 和 1,051,070。Databricks 据此称 Genie 准确率约为对照组的 1.6 倍，Token 用量不到一半。

背景与影响

据博客说明，该基准使用虚构的英国电力与燃气供应商 Calderwick Energy，包含数百张表（最大一张约 1.2 亿行半小时电表数据），以及 notebook、定时任务、仪表板、已保存 SQL 查询、代码、指标和文档等分析资产，并刻意保留复制 notebook、废弃分析、旧文档等真实环境的杂乱状态。每个任务对每个智能体运行 5 次，按预先设定的评分细则判定是否通过。Databricks 认为，Genie 的优势来自 Genie Ontology 从这些资产中提取的业务上下文，而仅凭表结构无法获得这类知识。博客还以查找 FY24/25 商业规划费率为例，称 Genie 依据构建账单成本表的 notebook 返回 0.52 p/kWh，而另外两个智能体未能给出该历史费率。

限制与来源

该结果由厂商自行发布，数据集与评分细则虽称可供复现，但尚未见独立第三方验证；两个对照智能体以「Agent A」「Agent B」匿名呈现，具体产品与配置未披露，且对照方通过 Databricks 工具带接入并排除了 Genie MCP。上述数字均为该基准下的表现，不代表其他场景。产品功能、可用地区与计费方式请以 Databricks 官网当前信息为准。来源：Databricks 博客。