GitHub Copilot Evals 进入公开预览,可重复测试 AI 行为
GitHub 宣布 Copilot Evals 进入公开预览,用户可为技能、自定义代理和 MCP 工具创建可重复的评测,运行后查看检查项通过与否,并对比改动前后的结果。该功能以本地评测工具 Vally 为引擎,适用于 Copilot Individual、Business 和 Enterprise 计划。
GitHub Copilot Evals 进入公开预览
GitHub 在更新日志中宣布,GitHub Copilot Evals 已进入公开预览。据官方说明,用户可以为项目中的技能(skills)、自定义代理(agents)和 MCP 工具创建评测(eval),运行后查看哪些检查项通过、哪些失败,并据此判断 Copilot 配置是否需要调整。用户可以用自然语言向 Copilot 提出需求,也可以使用 /eval 命令。每次运行开始前都需要用户确认。
背景与影响
GitHub 将 eval 定义为针对 AI 行为的可重复测试:给代理一个贴近真实的任务,描述什么样的结果算好,然后同时检查结果和代理达成结果的路径。由于 AI 输出每次运行可能不同,单次好结果不足以说明某项定制是否有效;在修改技能、代理或 MCP 之后重跑同一评测,可以检查关注的行为并发现回归。官方还提到,可以对比定制改动前后的运行结果,判断改动是否有帮助。该功能以可扩展的本地评测工具 Vally 作为评测引擎。
限制与来源
GitHub 表示,Copilot Evals 目前处于公开预览阶段,适用于 Copilot Individual、Copilot Business 和 Copilot Enterprise 计划。安装方式包括:在 Visual Studio Code 中从 Visual Studio Marketplace 安装扩展;在 Copilot CLI 中安装插件;在 GitHub Copilot 应用中打开 Customize,添加 github/evals 市场并安装插件。具体可用范围、安装步骤与功能细节可能随预览进展调整,请以 GitHub 官网当前信息为准。本文信息来自 GitHub 更新日志(github.blog),发布于 2026 年 11 月 17 日。