optstopは、AISI（英国）が提供するオープンソースのLLMベンチマークツールです。

英国に拠点を置くAIセキュリティ研究所は、オープンソースのPythonツール「optstop」を公開した。このツールは、LLM評価結果が事前に設定された精度に達した場合、または安定傾向にある場合に、サンプリングを早期に停止できるため、計算能力をより高い不確実性を伴うタスクに引き続き投入することができます。

AISIによると、さまざまなスコアリングタイプとモデル性能レベルを対象とした初期テストにおいて、optstopはスコア推定に影響を与えることなく、プログラム実行時間を57%から97%削減できたとのことです。この割合は、特定のテスト条件下で得られた結果に基づいています。

参照：英国AISIの説明