Web Models API 提案:让浏览器管理开放权重模型的下载与运行
Hugging Face 论坛出现一份 Web Models API 提案,主张由浏览器负责开放权重模型的下载、存储与执行,网站按模型 ID 请求指定版本,用户控制站点访问权限。提案附有说明文档与 API 参考,早期实现位于私有测试阶段的 Chromium 浏览器 Common 中,浏览器实现尚未公开。
提案:浏览器托管开放权重模型的下载与推理
据 Hugging Face 论坛「Show and Tell」板块的一则帖子,开发者 kenzic 提出名为 Web Models API 的方案:网站可以请求指定的开放权重模型,并在用户设备上运行;模型的下载、存储与执行由浏览器管理,用户则决定哪些站点可以访问某个模型。帖文称,该设计希望让开发者直接使用自己已经构建并测试过的模型,而不必在应用内自行维护推理运行时;模型资源可跨站点共享,提示词无需发送给 AI 服务提供商。
机制与讨论焦点
按帖文描述,提案依赖一份受支持模型的注册表,模型 ID 与具体发布版本绑定;若请求的模型不受支持,请求会直接失败,而不会静默替换为其他模型。API 覆盖生成、流式输出、嵌入与会话。作者表示已在基于 Chromium 的浏览器 Common 中做出早期实现,该浏览器目前处于私有 alpha 阶段,说明文档与 API 参考已开放审阅,浏览器实现尚未公开。跟帖讨论者 nootxlm 认为,共享注册表能否成立,关键在于模型 ID 究竟保证什么:仅有权重并不够,不同的量化方式、分词器版本或嵌入归一化都会产生不同结果,因此 ID 应覆盖权重版本、量化方案、分词器以及所有可能改变输出的运行时选择,并为每个注册表条目附带固定测试输入与预期输出或容差,浏览器通过测试才获得该 ID。
限制与来源
上述内容来自论坛帖文与跟帖,属于提案与个人意见,尚未获官方确认,也不代表已发布的产品功能。帖文未披露支持模型清单、性能数据、可用地区与时间表;Common 浏览器处于私有 alpha,浏览器实现不公开。具体能力、模型 ID 规则与可用范围请以项目官方说明和官网当前信息为准。