Nums AI 发布 Causilo:单模型在 TabArena 上排名居首
Nums AI 发布表格基础模型 Causilo,支持分类与回归,代码采用 Apache-2.0,权重托管于 Hugging Face。据其提交的 TabArena 结果显示,Causilo 在单模型中 Elo 最高,但权重商用需另行获得许可。
Nums AI 发布表格基础模型 Causilo
据 MarkTechPost 报道,Nums AI 发布了 Causilo,一个面向分类与回归任务的预训练表格基础模型。该模型提供 scikit-learn 风格接口,代码以 Apache-2.0 许可发布,预训练权重托管在 Hugging Face 上。据其 TabArena 提交结果,Causilo 在分类与回归两项任务上均为单模型中 Elo 最高者。官方表示,目前可用于研究与评估,支持 CUDA 或 CPU 运行;商用、生产部署及托管 API 使用需另行获得 Nums AI 的许可。
技术路线与评测背景
Causilo 采用上下文学习方式:调用 fit 不会更新预训练权重,而是把训练行存为上下文,在一次前向传播中预测查询行。据其提交说明,该模型仅使用合成数据预训练,未使用 TabArena 数据集。输入支持 NumPy 数组或 pandas DataFrame,可处理类别特征与缺失值,分类最多支持 10 个类别。网络分为特征精炼、压缩与上下文学习三个阶段,行间交互通过 4 个潜在 token 以交叉注意力完成,官方称其开销随特征数线性增长。评测方面,Nums AI 使用官方 TabArena 流程,覆盖 51 个数据集与 816 个 Full 划分;一名 TabArena 维护者复跑后得到相同的整体 Elo 1794。若把系统类条目一并计入,该复跑将 Causilo 排在 88 个条目中的第 3 位。此外,Nums AI 在 ScoringBench 上提交了 1.0.1 版本,称在 CRPS、R² 与 RMSE 上排名第一,该结果经维护者独立核验后提交。
限制与来源说明
需要注意,上述排名与 Elo 数值均来自 Nums AI 的提交及维护者复跑,属于第三方评测口径,并非独立学术结论;榜单头部模型的 Elo 置信区间存在重叠,领先幅度有限。速度与显存数据来自 Nums AI 自行复跑的 3 个模型对比,测试环境为单张 H100 80GB 与每任务 8 个 CPU 核心,不构成通用性能承诺。Causilo 需要 Python 3.10 至 3.12 与 PyTorch 2.13 或更新版本,首次 fit 会自动下载检查点。代码与权重的许可范围不同,商用与托管服务是否可用、以及各地区与账号的支持情况,请以 Nums AI 官网及仓库当前信息为准。本文信息来自 MarkTechPost 报道,相关细节尚未获官方进一步确认。