Mistral AI 发布 Timestral 时间序列模型家族,209M 版本称在多项基准领先
Mistral AI 发布首个时间序列基础模型家族 Timestral,含 5M 至 209M 四个零样本预测模型,官方称最大版本在 GIFT-Eval、TIME 与 fev-bench 上领先同类预训练模型,并可在标准服务器 CPU 上推理。
核心事实
据 MarkTechPost 报道,Mistral AI 发布了其首个时间序列基础模型家族 Timestral,共包含 5M、28M、123M 和 209M 四个参数规模的稠密零样本预测模型。报道称,其中 209M 版本在 GIFT-Eval、TIME 和 fev-bench 三个基准上,于预训练零样本模型中排名第一,且推理无需 GPU。该模型支持最长 32,768 个时间步的上下文,每个时间步输出 21 个分位数,并支持多变量联合预测以及过去协变量、已知未来协变量和类别协变量。据报 209M 权重以 fp32 存储约 837 MB。
背景与影响
传统 ARIMA 等工具需逐条序列拟合,PatchTST 等深度模型通常需在每个数据集上从头训练;Timestral 的定位是跨领域迁移模式。报道称其采用因果、基于 patch 的 Transformer,结合时间注意力与变量注意力,并提出解耦预测视野(DHF)、协变量感知注意力、以合成数据为主的训练以及两阶段训练等设计。报道还称,28M 版本在 GIFT-Eval 和 TIME 上超过约四倍规模的 Chronos-2;在 8 线程标准服务器 CPU 上,5M 模型单次预测耗时 10 毫秒,209M 为 140 毫秒。权重采用 Modified MIT 许可,推理代码为 Apache 2.0,与 TimesFM-3 的非商业许可形成对比。
限制与来源
上述基准成绩均来自 Mistral 自行发布的模型卡,Google、Amazon 等并未在自家模型页面公布可比数字,相关对比尚未获第三方独立验证。报道也指出,123M 与 209M 在 GIFT-Eval 上的 MASE 仅差 0.001,规模收益在顶端趋于平缓;209M 在该基准上领先 t0-gamma 仅 0.003。Mistral 文档将 Timestral 1.0 209M 标为 Public Preview,报道称尚未列出 API 价格。部署需 Python 3.10+ 与 torch 2.4+,具体许可条款、可用地区与功能支持请以 Mistral 官网及模型卡当前信息为准。来源:MarkTechPost。