AB
AB
AiBoss

All Categories

project

rsi-eval - 面向递归自我改进方法的轻量评测 SDK 与 CLI

rsi-eval 是一个轻量 Python SDK 与命令行工具，为递归自我改进（RSI）方法提供统一的评测边界：你保留候选生成、记忆、选择与停止规则的控制权，通过 evaluate() 在既有 agent 基准上跑任务、拿反馈。项目自述内置 24 套评测配置，覆盖编码、推理、工程与领域工作流。

rsi-eval 是一个轻量的 Python SDK 与命令行工具，用来在各类 agent 基准上评测递归自我改进（Recursive Self-Improvement，RSI）方法。按项目自述，它要解决的是 RSI 方法中重复出现的那段工程负担：跑候选、收反馈、决定下一步改什么。rsi-eval 只提供评测边界，让方法本身可以复用已有基准，而不必从头实现这些基准的执行与结果处理。它的核心循环被概括为 candidate -> evaluate() -> task feedback -> your next candidate。适合的人群是正在做 RSI 或 agent 自改进研究、手上已有自己的改进循环、但不想为每个基准重写执行层的研究者与工程师。

维护者与状态

仓库由 Danielxu0208 维护，地址为 github.com/Danielxu0208/rsi_eval，许可证为 Apache-2.0。仓库创建于 2026-10-12，最后提交时间为 2026-10-30。截至 2026-11-07，项目获得 431 个星标。项目目前尚无正式 release，使用方式以从仓库检出后安装为主。

主要能力

以下能力均据项目 README 自述整理，未经独立验证。

  • 方法控制权留在使用者手里。 候选生成、记忆、选择策略、停止规则以及 evolve/test 任务的划分都由使用者决定，从自己的循环里调用 evaluate() 即可，不要求继承某个优化器基类。
  • 复用基准协议。 可以选择固定版本的任务并运行其评分器，原始奖励、任务预算与基准特有的指标保持原有含义。
  • 结构化反馈。 通过统一的结果格式读取每个任务的分数、执行状态、token 用量、验证器输出与轨迹路径。
  • 实验记录与恢复。 每次评测都会对候选做快照，记录任务与来源标识，并保留结果以便显式恢复。
  • 内置评测目录。 README 称目录包含 24 套评测配置和两个带标注的 legacy 子集，覆盖终端与软件工程（Terminal-Bench 2.0/2.1、SWE-bench Verified、Multilingual 与 Pro、Aider Polyglot）、代码生成（LiveCodeBench）、推理与数学（MMLU、GPQA、ARC-AGI、MGSM）、阅读理解（DROP）、MCE 类任务（FiNER、USPTO、Symptom2Disease、LawBench、AEGIS）、工程（EngDesign-Open、Frontier-Eng）以及领域工作流（JobBench、Harvey LAB、APEX）。具体版本与任务数量可用 rsi-eval list 查看。
  • 可选方法集成。 项目说明提供可直接运行的 Meta-Harness、RRSI、AHE 与 HarnessX 工作流集成。
  • 依赖克制。 据项目说明，核心 SDK 没有第三方运行时依赖，执行后端与方法依赖按需安装。

使用入口

仓库地址：Danielxu0208/rsi_eval。

据 README，快速上手需要 Python 3.12 或更新版本，从检出目录建立虚拟环境并以可编辑模式安装：

git clone https://github.com/Danielxu0208/rsi_eval.git
cd rsi_eval
python3.12 -m venv .venv
source .venv/bin/activate
python -m pip install -e .
rsi-eval list
rsi-eval preview --config examples/evaluate.json

其中 preview 只解析任务引用、候选哈希与运行设置，不需要 Docker、Harbor、登录或模型调用。要真正跑基准评测，还需在同一环境安装 Harbor 扩展（python -m pip install -e '.[harbor]'），README 说明该扩展固定 Harbor 0.18.0，其可执行文件需在 PATH 上，或通过运行配置中的 options.harbor_executable 指定。默认执行后端在 Docker 中运行任务，Linux 上需 Docker Engine 及 Compose、Buildx，macOS 上可用 Docker Desktop 或 Colima Linux 虚拟机。README 还提到，部分任务需要 NVIDIA GPU、原生 Linux amd64 或外部资源；JobBench、Harvey LAB 与 APEX 需要各自的原生 judge 凭据；APEX 的发布用途是评测，而非训练或参数拟合。

除 CLI 外，项目也提供 Python SDK，使用与 CLI 相同的 target、selection 与 options 概念，调用 evaluate() 后可从返回结果中读取状态、逐 trial 的任务 ID、状态与奖励，以及报告路径。README 提到，内置的订阅版 Codex target 要求 concurrency=1。

许可与限制

许可证为 Apache-2.0。使用前需要注意的边界，按项目自述包括：评测依赖 Docker 环境与 Harbor 执行后端，并非纯 Python 即可跑通；部分基准对硬件有明确要求（GPU、原生 Linux amd64）；若干领域工作流需要单独申请或配置 judge 凭据；任务选择属于使用者自己的实验设计，目录本身不预设永久的 evolve 或 test 角色。此外，README 提醒在选择用于进化的数据时应查看发布方的使用条款。项目尚无正式 release，接口与配置格式可能随仓库提交变化，实际使用应以仓库当前内容为准。

Back