AB
AiBoss站
快讯

Meta 披露 JiTTests 生产部署结果:AI 生成测试在代码合入前拦截缺陷

Meta 工程团队公布 Catching JiTTests 的生产部署情况:由大模型自动生成可执行测试,在代码变更合入前暴露行为差异,并以「人在环上」方式控制人工复核量。团队称已有 589 名工程师参与,真阳性率约 60%。

核心事实

Meta 工程团队在工程博客发文,介绍其名为 Catching JiTTests(Just-in-Time Tests)的测试方案已从研究原型进入公司基础设施。该方案利用大语言模型针对每一处代码变更(diff)自动生成可执行测试,并刻意让测试指向变更引入的行为差异,从而在代码合入生产环境之前暴露缺陷。团队同时公开论文《Just-in-Time Catching Test Generation at Meta》,该论文在 FSE 2026 上宣读。

据文章披露,系统在夜间利用闲置算力运行,先筛选出风险较高的 diff,再通过「可疑 diff」与「意图感知」两条并行流程生成测试;随后由多个大模型组成的「LLM-as-Judge」评审团与基于规则的 RubFake 评估器共同过滤误报,最后按排名决定是否联系工程师。文章称,截至撰写时共有 589 名 Meta 工程师(占触达人数的 64%)参与了该机制,真阳性率约为 60%;2026 年上半年,该机制在 diff 阶段协助发现 74 个严重(SEV)隐私缺陷,同期隐私类 SEV 总体发生率下降 20%。

背景与影响

Meta 表示其代码库有数亿行代码持续演进,传统测试难以跟上变更速度。与常见的用大模型或智能体直接审查代码不同,JiTTests 的产出是可运行的测试用例,因此可能覆盖代码审查类方法漏掉的缺陷类型。文章将人工介入方式描述为「human-on-the-loop」:工程师设定标准并在汇总层面查看结果,而非逐条审核每个输出,以此降低复核负担。

限制与来源

上述参与人数、真阳性率与缺陷数量均为 Meta 单方面公布的数据,未提供第三方复现或独立评估,具体口径以论文与官方博客为准。该方案目前仅描述在 Meta 内部基础设施中的部署情况,是否对外提供、在哪些国家或地区可用、许可与定价等信息,素材中均未提及,需以官网当前信息为准。本文不构成任何投资或采购建议。

来源:Meta 工程博客(engineering.fb.com),2026 年 10 月 29 日。