PolyStrata - 在普通 PC 上本地运行大型 AI 模型

PolyStrata 是一个面向本地推理的开源项目，目标是把通常需要服务器才能跑动的大型 AI 模型放到一台普通 PC 上。据项目自述，这些模型可以对话、写代码，也能配合用户的应用与编码代理工作，并且数据不离开本机。它适合手上有独立显卡、希望在不依赖云端服务的前提下使用较大模型的开发者与个人用户，也适合想把本地模型接入编码代理工作流的人。

维护者与状态

项目由 VecSzn 维护，仓库创建于 2026-10-06，最后一次提交在 2026-10-19。最新正式发布为 v0.1.45-poly.1，发布于 2026-10-17。截至 2026-10-19，仓库星标数为 261。从时间线看，这是一个非常年轻的项目，创建到最新提交仅两周左右，版本号也处于 0.1.x 阶段，使用前应对其成熟度有合理预期。

主要能力

以下内容均来自项目自述，未经本站独立验证。

• 本地运行大型模型：项目说明称其可在普通 PC 上运行通常需要服务器的模型，覆盖对话、代码编写以及与应用程序和编码代理协作等场景，并强调数据不离开本机。
• 双引擎、九个模型：据项目说明，它运行九个模型，分布在两个引擎上。其中 Qwen3.8-Flash-Next 使用 Strata 项目的引擎，未作改动；其余八个运行在专为 PolyStrata 编写的引擎上。
• 硬件与系统覆盖：项目自述称，Qwen3.8-Flash-Next 需要 12 GB 及以上显存的 NVIDIA 或 AMD 显卡，支持 Windows 与 Linux，并可读取图片。其余八个模型支持一张或两张 NVIDIA 显卡；在 Linux 上全部可用，其中六个较小的模型在 Windows 上也可用。项目将这些模型标注为实验性，并称它们已在一台配备 32 GB 显卡的 PC 上运行过，六个较小的模型还在一台配备 8 GB 显卡的笔记本上运行过。
• 模型清单：据项目说明，清单包括 GLM 5.3 Flash（文件 79 至 114 GB，大部分驻留内存）、DeepSeek V4 Flash（文件 91 GB，大部分驻留内存）、Liquid AI 的 LFM2.5-24B-A2B（文件 11 至 25 GB）、Qwen3.6-35B-A3B（文件 13 至 23 GB，可读图）、Ornith 1.5（文件 14 至 24 GB，可读图）、Gemma 4 26B-A4B（文件 11 至 17 GB，可读图）、Tiel Coder 35B-A3B（文件 14 至 23 GB，可读图）以及 OpenBMB 的 MiniCPM-V 4.7 35B-A3B（文件 16 至 29 GB，面向读图）。
• 运行时切换模型：项目说明称，服务在运行过程中可以在已安装的模型之间切换。
• 长上下文表现：据项目自述，DeepSeek V4 Flash 的对话记忆占用较小，128K 上下文比 32K 多占 0.7 GB 显存；LFM2.5-24B-A2B 多数层不含注意力，128K 上下文比 32K 多占 2 GB 显存。

使用入口

项目仓库地址为 VecSzn/PolyStrata，安装方式、模型下载与调用命令以仓库内文档为准。项目自述提到，PolyStrata 构建在 Niko1221 的 Strata 之上，关于为何单独建仓、AMD 与较小显卡的支持、微调模型等问题，仓库中另有 FAQ 说明。素材中出现的其他外部地址（如文档、社区结果页）未在本文列出，请从仓库内跳转。

许可与限制

项目本身采用 MIT 许可证。需要注意的是，许可证只覆盖 PolyStrata 项目代码，所运行模型各有自己的许可条款。项目自述特别提到，LFM2.5-24B-A2B 的许可证仅允许年收入低于一千万美元的公司商用，使用该模型前应自行核对原始许可。

已知限制方面，项目自述将除 Qwen3.8-Flash-Next 之外的八个模型标注为实验性；GLM 5.3 Flash 与 DeepSeek V4 Flash 体量很大，大部分权重驻留内存，对内存容量要求较高；Windows 平台只覆盖六个较小的模型。项目自述中的速度数据由其自身或 Strata 项目在特定机器上测得，属于项目方提供的信息，不同硬件上的实际表现会有差异。此外，项目创建时间很短，接口与文档可能仍在快速变动。