AB
AiBoss
project

datakeel - 面向可审计数据集的本地优先工作台

datakeel 是一个本地优先的数据集工作台,用于审阅样本证据、交付可验证的数据版本,并把业务指标回溯到源数据。项目由 chaw1 维护,采用 Apache-2.0 许可,截至 2026-11-19 获得 215 个星标。

datakeel 是一个本地优先(local-first)的数据集工作台,目标是把「数据集交付」和「指标解释」这两件通常散落在多个工具里的事,收拢到一个可审计的流程中。据项目自述,它让使用者审阅样本证据、交付可验证的版本,并把业务指标一路追溯到源数据。它适合需要为训练数据、标注结果或业务报表给出可核查依据的团队,例如负责数据集交付的数据工程与标注管理角色,以及需要解释指标口径的分析人员。

维护者与状态

项目由 chaw1 维护,仓库创建于 2026-10-23,最后一次提交在 2026-11-17。最新正式版本为 v0.27.0,发布于 2026-11-17。截至 2026-11-19,仓库获得 215 个星标。从创建到最新版本不足一个月,属于迭代节奏较快的早期项目。

主要能力

以下能力均据项目 README 自述整理,未经独立验证。

  • 导入与审阅图像文件夹:预览样本与 sidecar 文件的配对情况,检查跨分区匹配的图像,并在修正版本中排除已确认有问题的样本。
  • 样本证据审阅:从一个候选问题出发,沿链路追到 caption、标注、图像或源事件;据项目说明,证据会区分「存在」「不存在」「未知」三种状态,而不是简单二值判断。
  • 训练数据准备:比较不可变版本、检查切分泄漏(split leakage),并按适用情况导出 COCO、YOLO、Hugging Face 或 JSONL 格式的训练集。
  • 数据集交付:签署冻结的发布计划,下载可复现的数据包,并用 datakeel reconcile 校验清单。
  • 业务指标解释:查看指标的定义版本、源字段、参数化 SQL 与时间范围,可要求拆分,或沿血缘继续追溯。
  • Agent 提案审阅:检查受影响的物件、外发范围与成本;据 README 说明,Web UI 与 CLI 负责审批与执行,外部或不可逆操作需要人工批准具体的预备方案。

README 还提到,界面为双语,包含键盘驱动的证据审阅面板、⌘K / Ctrl+K 全局搜索,以及 ⌘J / Ctrl+J 唤起的上下文 Copilot。架构上,datakeel 在 SQLite 或 PostgreSQL 之上运行 API 与受隔离的 worker,存储可落在本地或 S3 兼容对象存储;文件版本带不可变的 SHA-256 清单,血缘从只追加事件重建。

使用入口

仓库地址为 chaw1/datakeel,更完整的文档入口见 docs/README.md。

据项目说明,最快的上手方式是安装 uv 后在代码检出目录执行演示命令,它会启动 API 与 worker、提供内置 Web UI,并在本地 SQLite 中写入生成的样本;模型调用使用内置的离线 provider。

uv sync --locked
uv run datakeel demo

演示默认在 127.0.0.1:8765 提供 Web UI,API 文档位于同一端口的 /api/docs。命令行方式还包括 uv run datakeel demo --once 运行一次性演示、uv run datakeel ask 提问指标、uv run datakeel export --format openlineage 或 --format croissant 导出。演示内置四类生成集合,其中证据集合含 1,000 张样本图像,并刻意带有标注冲突、缺失 sidecar 与损坏文件。

MCP 方面,README 称服务端暴露经审计的读取与方案准备能力,可通过本地 stdio 或回环 SSE 运行,需与 Web UI 使用同一个 DATAKEEL_HOME。若接入真实模型 provider,可设置 DATAKEEL_OPENAI_API_KEY 或 DATAKEEL_ANTHROPIC_API_KEY,并可选设置对应的 BASE_URL。从源码构建需要 Python 3.12、uv、Node.js 22 与 Rust 1.96。

许可与限制

许可证为 Apache-2.0。据 README,GitHub Releases 提供 wheel、锁定依赖、许可声明与 SHA-256 校验和;依赖与内置字体的条款记录在第三方声明中。

关于适用边界,README 将标注生产、音视频处理、LLM 数据集检查、知识图谱与语义目录导入等场景指向文档中心,说明这些并非演示默认覆盖的路径。演示环境使用离线 provider 与本地 SQLite,真实 provider 需要自行配置密钥,且 README 提醒密钥不要放进仓库、需在价格目录中登记模型价格。共享安装场景另有面向小团队的部署说明,涉及带认证的反向代理与 PostgreSQL 选项。以上均为项目自述,实际行为与性能需以仓库文档和自行验证为准。