LifeVal - OpenAI 推出的日常生活任务评测基准 - AiBoss

LifeVal是什么

LifeVal 是 OpenAI 推出的评测基准，用于衡量 AI 帮助人们完成日常任务的能力。LifeVal 基于美国时间使用调查、跨国时间使用研究及一项覆盖 3995 人的代表性调查构建，任务涵盖托育、健康、教育、家庭行政、个人财务、购物和获取政府服务等领域，强调模型能否真正”办成事”仅给出建议。官方数据显示，过去一年已用 LifeVal 衡量并改进模型表现，按未加权平均奖励计算，其平均成绩已从 GPT-5.2 的 49.3% 提升至 GPT-6 Astra 的 80.6%。

LifeVal的主要功能

衡量日常任务能力：评估模型在托育、健康、教育、财务、购物、政府服务等真实生活场景中的表现。
基于真实用户需求构建：参考时间使用调查和 3995 人代表性调查，选取用户最需要 AI 协助的任务。
考察端到端任务完成：关注模型能否”办成事”，而非仅给出聊天式回答或建议。
跟踪模型进步：用于纵向对比，官方数据显示成绩从 GPT-5.2 的 49.3% 提升至 GPT-6 Astra 的 80.6%。
驱动 Agent 能力迭代：推动浏览器使用、电脑操作、连接器工具调用等能力的训练与优化。
超越学术测评：从”知识考试”转向衡量 AI 帮普通人处理实际生活事务的价值。

LifeVal的技术原理

任务来源：LifeVal 的任务来自三类数据：美国时间使用调查（ATUS）、跨国时间使用研究（MTUS），以及 OpenAI 自建的覆盖 3,995 名受访者的人口代表性调查。从时间使用调查中提取人们日常实际花时间的活动类目，再通过问卷调查每个任务上”最希望 AI 提供什么帮助”，筛选出照护、健康、教育、家庭行政、财务、购物、政府服务等领域的高价值任务。
评测形式：每个任务模拟真实用户求助场景，要求模型完成完整流程：理解带约束的需求、搜集和比对信息、做出取舍决策，并交付可用成果。评测关注的不是回答内容质量，而是”事情是否被办成”，与传统学术 benchmark 的答题式评测有本质区别。
评分机制：官方用平均奖励（unweighted）作为核心指标，即对每个任务的完成结果打分后取平均。意味着背后存在某种评分器，对模型交付的成果按完成度给予奖励值。设计便于大规模自动化评测和跨版本纵向对比，奖励函数的具体构成目前不透明。
能力支撑：LifeVal 的高分任务要求模型实际使用浏览器、电脑操作界面和第三方连接器，而非仅凭参数内知识回答。基准本质上同时考察三个层面：模型的规划推理能力、工具调用能力，以及多步骤执行中的自我纠错能力，缺一都无法拿到高奖励。

如何使用LifeVal

OpenAI 并未公开 LifeVal 的数据集、代码或评测入口，普通用户和开发者暂时无法直接运行。

LifeVal的核心优势

任务源于真实需求：基于时间使用调查和 3,995 人代表性调查构建，直接对齐普通人最希望 AI 帮忙的场景。
衡量”办成事”而非”答对题”：评估端到端任务完成度，而非知识问答式的正确率。
覆盖生活核心领域：涵盖托育、健康、教育、财务、购物、政府服务等高价值日常场景。
驱动 Agent 能力进化：同时考察规划、浏览器操作、电脑使用和连接器调用等复合能力。
支持纵向进步追踪：用统一的平均奖励指标衡量模型迭代，官方借此展示了从 GPT-5.2 到 GPT-6 Astra 的清晰提升曲线。
超越学术评测范式：把评估重心从”模型多聪明”转向”对用户生活有多大实际帮助”。
与产品战略深度绑定：作为内部训练回归测试，直接服务于 ChatGPT 从聊天工具向个人 Agent 的转型。

LifeVal的项目地址

项目地址：https://openai.com/index/lifeval/

LifeVal的同类竞品对比

对比维度	LifeVal（OpenAI）	OSWorld（港大/CMU 等）
任务定位	衡量 AI 完成日常生活事务的能力（托育、健康、政府服务等）	衡量多模态 Agent 在真实电脑上的开放式操作任务
任务来源	时间使用调查 + 3,995 人代表性用户调研	真实用户的计算机使用场景，人工标注初始状态和评估脚本
任务规模	未公开	369 个任务（另含 43 个 Windows 任务）
评测环境	未公开（涉及浏览器、电脑操作、连接器）	真实操作系统虚拟机（Ubuntu/Windows/macOS），任意应用
评分方式	平均奖励（unweighted reward），具体评分器未披露	基于执行结果的自动判定脚本，134 个评估函数，客观可复现
开放性	未开源，无数据集、无下载入口，仅自家模型成绩	完全开源，环境、任务、基线模型、评估脚本全部公开
覆盖模型	仅 GPT-5.2 至 GPT-6 Astra	GPT-4V、Gemini、Claude-3 Opus、Qwen 等数十个基线模型
基准表现	GPT-6 Astra 达 80.6%	人类成功率约 72.4%，发布时最佳模型仅 12.24%
第三方可验证性	低（无法独立复现）	高（任何人可本地部署跑分）
战略定位	OpenAI 内部训练回归测试 + 产品叙事工具	学术界通用的 Agent 能力标尺

LifeVal的应用场景

模型能力回归测试：OpenAI 内部用它跟踪 GPT-5.2 到 GPT-6 Astra 的日常任务表现，确保新版本不退化。
Agent 功能迭代指导：根据基准暴露的薄弱环节，针对性训练浏览器操作、电脑使用和连接器调用能力。
新版本发布评估：作为模型发布的”日常实用性”成绩单，向用户证明新版本比旧版更能办成事。
产品功能优先级排序：依据任务完成数据判断哪些生活场景（如托育、政府服务）最需要投入研发资源。
行业评测范式参考：其他 AI 厂商可借鉴其用户调研驱动任务设计的方法论，构建面向中文用户的类似日常任务评测。