AB
AiBoss
project

whiteboard-ai-tutor - 让大模型在电子白板上边讲边写的开源教学协议与评测基准

whiteboard-ai-tutor 是维护者 molly554 发布的开源项目,用一套冻结的 JSON 绘图协议让任意大模型扮演白板教师:模型只输出步骤与绘图指令,浏览器把它们播放成手写笔迹,学生可以中途打断。仓库同时附带同一提示词下多模型的教学效果评测。采用 MIT 许可证,尚无正式 release。

whiteboard-ai-tutor 是一个开源项目,目标是把「AI 老师在白板上边讲边写、学生随时插话」这件事从模型能力问题变成一套可复用的协议。据项目自述,模型本身从不接触画布,它只以 JSON 流的形式输出教学步骤——每一步包含一句讲解和一组绘图操作,浏览器端把这些操作播放成手写笔迹、线条与擦除动作;当学生打断时,应用把当前白板状态(每个对象的 id、类型、包围盒与文字)连同新问题一起回传给模型,模型再返回新的步骤。项目适合两类读者:想搭建白板式 AI 教学交互的开发者,以及关心不同大模型「讲课讲得准不准」的评测研究者。

维护者与状态

项目由 molly554 维护,仓库创建于 2026-11-11,最后一次提交在 2026-11-17。截至 2026-11-21,仓库获得 467 个星标。事实表显示该项目尚无正式 release,也就是说目前没有可引用的版本号,使用时应以仓库主干代码为准。项目采用 MIT 许可证。需要说明的是,仓库同时包含参考实现与评测基准两部分,二者共用同一套协议定义。

主要能力

以下能力均据项目 README 自述整理,未经本站独立验证:

  • 流式绘图协议:模型输出的是步骤序列,每步含标题、讲解语与操作列表;操作共六种——write、line、rect、ellipse、path、erase,作用在 1600 × 900 的画布上。完整提示词位于 protocol/PROTOCOL.md,据称是经过测试的中文提示词,并附英文翻译。
  • 首笔延迟低:因为第一个操作一到就能播放,README 称在最快的模型上学生两到四秒内就能看到第一笔,而不必等整节课生成完毕。
  • 可打断的课堂:学生插话时应用停止流式输出,把问题与白板对象状态一起发给模型;模型只回新步骤,可以按 id 擦除或标注已有对象。
  • 回放播放器:仓库内的播放器可以回放已录制的课程,也能播放八个场景并显示 linter 输出,无需 API 密钥。
  • 评测运行器:提供面向 Claude、Gemini 与 DeepSeek 的运行器,据 README 说明,Claude 与 Gemini 可通过 OpenRouter 用同一把密钥调用,DeepSeek 使用自己的密钥;运行器会把每个 OpenRouter 模型锁定到第一方供应商并关闭回退,设有单模型与总预算上限,每次调用追加写入 results/runs/*.jsonl,中断后可续跑。
  • 评测方法:README 描述了自动指标、linter、渲染终稿、随机 id 盲评、解盲汇总与人工抽审的流程,盲评评分表要求无科学或数学错误、图与文一致、版式 0–2 分、课程完整;打断场景另加「回答了问题」「未覆盖或清空原白板」两项。

README 也记录了作者自己的观察,例如失败案例中多数是「文字对、图错」,以及关闭思考模式的廉价快速模型可能不遵守协议、返回缺少 op 字段的指令。这些是项目方的自述结论,样本量在 README 中被明确称为较小,不宜当作通用排名。

使用入口

仓库地址:molly554/whiteboard-ai-tutor;在线回放页面:项目主页。

据 README,仅浏览结果不需要密钥与额外依赖,克隆仓库后运行本地服务即可打开画廊:

git clone https://github.com/molly554/whiteboard-ai-tutor.git
cd whiteboard-ai-tutor
python serve.py
# 然后打开 http://localhost:8811/

若要自己跑模型,README 给出的流程是先安装依赖、配置密钥,再依次执行预检、小样本试跑、完整矩阵与汇总:

pip install -r requirements.txt
export OPENROUTER_API_KEY=...
export DEEPSEEK_API_KEY=...
python bench/run.py preflight --via openrouter
python bench/run.py smoke --via openrouter --models sonnet-5.5
python bench/run.py main --confirm --via openrouter
python bench/aggregate.py

README 称完整矩阵约需 4 美元,实际花费取决于所选模型与调用量。此外仓库提供 bench/mock_server.py,可在本地模拟三家 API 以测试运行器。

许可与限制

许可证为 MIT。使用前需要了解项目自述的若干边界:

  • 不是托管的教学应用:README 明确说明播放器只回放已录制的课程,要生成新课程必须用运行器并自备 API 密钥。
  • 样本量有限:每个模型的盲评白板数量为十余块,README 自己承认「头尾差距清楚,中间排序不清楚」,因此不适合据此做精细的模型选型。
  • 评测者本身是模型:盲评由未参与测试的模型执行,另设人工抽审清单用于确认或推翻边界判定;linter 被作者评价为「糟糕的裁判」,会误伤信息密集的图,也看不出图文矛盾这一主要失败模式。
  • 思考模式代价高:README 称开启思考后首笔可能延迟 30–120 秒,并有多次调用在完成白板前撞上 8000 token 输出上限。
  • 打断处理不完美:据 README,打断场景虽然都能回答学生,但部分会覆盖已有绘图或清空白板重画。

以上限制均来自项目自述,部署到教学场景前建议先用自己的题目与模型做小样本验证。