英国AISI开源LLM评测工具optstop

英国AI安全研究所发布开源Python工具optstop。该工具可在LLM评测结果达到预设精度或趋于稳定时提前停止采样，将算力继续投入不确定性较高的任务。

AISI称，在覆盖不同评分类型和模型表现水平的初步测试中，optstop节省了57%至97%的计划运行次数，且未影响分数估计。这一比例属于特定测试条件下的结果。

参考：英国AISI说明