smolmaxxing - 在电视盒子、旧平板和手机上跑尽可能大的语言模型

smolmaxxing 是一个围绕 llama.cpp 的补丁与工具集合，面向的是一类平时被闲置的硬件：电视盒子、老平板、单板计算机和路由器。这些设备大多有 CPU、一些内存和闪存，却很少被用来做推理。项目要解决的问题是：在内存远小于模型体积的前提下，找出每台设备真正能跑的最大模型，并尽可能把速度推高。据项目自述，它适合手里有这类小设备、愿意自己编译和刷机的开发者，而不是想要开箱即用聊天应用的普通用户。

维护者与状态

项目由 hyperionaidev 维护，仓库创建于 2026-11-04，最后一次提交在 2026-11-13。截至 2026-11-13，仓库获得 533 个星标，尚无正式 release，也就是说目前没有版本化的发行包，使用者需要直接从仓库获取代码与补丁。项目另有一个产品页面，见下文「使用入口」。

主要能力

以下内容均来自项目 README 的自述，未经本站独立验证。

• 面向具体芯片的内核。 项目称实现了 1-bit 查表内核，为 Cortex-A55 重新打包了 2-bit 与三值（ternary）格式，并针对没有点积指令的 Apple A7 提供了对应版本。
• 降低单模型内存占用。 项目认为小模型词表中的大部分输出行很少被用到，因此直接丢弃这些输出行；在电视盒子上还提供一种「headless」模式，在模型运行时停掉桌面启动器和 Google 服务以腾出内存。
• MoE 专家按需从闪存分页。 混合专家模型每个 token 只激活少数专家，项目把常用专家常驻内存，其余按需从闪存读取，并预取下一层所需的专家。README 称这是 8B、16B 模型能跑在约 1 GB 内存上、35B 与 80B 模型能跑在手机上的原因。
• 稠密模型流式加载。 对于体积大于内存的稠密模型，项目称可以按闪存的满速进行流式读取。
• 可复现的测量记录。 仓库包含 bench/ 目录存放每次对话基准的结果文件与原始日志，EXPERIMENT.md 记录 160 次实验（含失败），docs/lessons.md 记录经验教训。
• 配套工具。 tools/ 下有模型重建、GGUF 重写、基准测试与内核检查工具；tv-llm-ui/ 是一个实时 token 流式聊天页面及其启动器；zigcc/ 提供用于交叉编译静态 aarch64 二进制的 zig 封装。

README 中列出了三台已测设备：小米电视盒子 S（第三代，Amlogic S7D，约 1 GB 可用内存）、2013 年的 iPad Air（Apple A7，约 700 MB 可用内存，已越狱）、一加 Nord CE 2（2022 年，天玑 900，约 3 GB 空闲内存）。项目称电视盒子和 iPad 能在约 1 GB 内存上运行 8B 与 16B 的 MoE 模型，手机能运行 35B 与 80B 模型。这些数字来自项目自述，本站未做复测。

使用入口

代码与文档位于 hyperionaidev/smolmaxxing，产品介绍页在 hyperion-ai.com/products/smolmaxxing。

据 README，最快的上手方式是使用 Hugging Face 上准备好的模型文件，但这些文件需要打过补丁的 llama.cpp 才能加载，原版 llama.cpp 无法读取。仓库按设备给出了不同的说明文档：ARMv8.2 的 Android 电视盒子参考 docs/tv-box-setup.md；运行 iOS 12 的越狱 iPad 参考 ipad-air/README.md；8 GB 内存的 Android 手机参考 docs/phone.md。README 特别说明，手机上用的两个模型文件是标准 GGUF，任何较新的 llama.cpp 都能加载，但 README 中给出的速度需要补丁中的专家分页器才能达到。模型文件的下载、重建目标与校验和见 docs/models.md。

项目还邀请有小型设备的用户在自己设备上跑出数据并提交，称会把结果加入仓库。

许可与限制

仓库采用 MIT 许可证。README 说明，其中的 llama.cpp 补丁是 llama.cpp（MIT）的衍生作品；模型权重各自保留原有许可证；评测文本取自维基百科摘录，采用 CC BY-SA 4.0。

使用前需要了解的边界条件，据项目自述：

• 整个方案是 llama.cpp 的补丁，不是独立推理引擎，需要自行编译打补丁后的版本。
• 部分设备需要额外条件，例如 iPad 需要越狱（README 提到使用 Amethyst 越狱），电视盒子的 headless 模式会停掉系统服务。
• 目前只覆盖三台设备，单板计算机、路由器与更多手机被列为后续计划，尚未提供结果。
• 项目尚无正式 release，接口与文档可能随提交变化。

README 称这些技术并不绑定某一台盒子：1-bit 内核只需要基础 NEON，闪存流式加载适用于任何「模型比内存大」的 Linux 或 Android 设备。但这属于项目方的判断，实际可用性仍需在具体硬件上验证。