AB
AiBoss
News

Meta 将 JiTTests 投入生产:用 LLM 生成「注定失败」的测试拦截风险代码

Meta 已将 LLM 驱动的 Catching JiTTests 从研究原型推进到生产基础设施,在代码合入前生成应当失败的测试以证明行为变更。据报 2026 年上半年在 diff 阶段拦截 74 个隐私 SEV,隐私 SEV 发生率下降 20%。该系统仅限 Meta 内部使用,未公开代码、模型或 API。

Meta 将 JiTTests 推入生产:让测试在风险代码合入前先失败

Meta 已将 Catching Just-in-Time Tests(JiTTests)从研究原型迁移到其生产基础设施。据 MarkTechPost 报道,这套基于大语言模型的系统会针对待审查的代码变更(diff)生成可执行测试,并刻意让测试在 diff 引入缺陷时失败——一个失败的测试即构成「该 diff 改变了行为」的具体证据。相关方法发表于 FSE 2026 论文《Just-in-Time Catching Test Generation at Meta》。

背景与影响

与传统「先通过、再防回归」的加固型测试不同,catching 测试瞄准的是审查中的这次变更本身。Meta 的生产流水线包含五个阶段:利用夜间闲置算力筛选前一日的高风险 diff、由两条 diff 感知工作流生成候选测试、多个 LLM 组成评审集成打分、RubFake 规则做确定性假阳性过滤,最后由系统综合排序决定是否联系工程师,人处于「回路之上」而非逐条审核。论文分析了 22,126 个生成测试;据报 intent-aware 工作流的弱捕获率为 6.4%(测试)与 7.9%(diff),dodgy diff 为 2.5% 与 4.0%,此前的 ACH 加固方法为 0.8% 与 1.6%。报道称,2026 年上半年该系统在 diff 阶段捕获 74 个隐私 SEV,同期隐私 SEV 发生率下降 20%;工程师自报全量规模下真阳性率约 60%,而早期部署的 41 个候选捕获中仅 8 个被确认(19.5%)。

限制与来源

需注意,上述效果数据均为 Meta 自报,未经独立验证;「弱捕获」只是候选失败,并不等于已确认缺陷。JiTTests 目前仅限 Meta 内部使用,Meta 未发布代码、模型或 API,外部团队无法直接使用,只能参考其模式自行实现。本文信息来自 MarkTechPost 对 Meta 工程博客与论文的报道,具体细节与后续进展以 Meta 官方发布为准。