ニュース
Proximal社は、34の長期コーディングタスクに拡張されたFrontierSWE v2をリリースしました。
Proximal社は、長期ソフトウェアエンジニアリングベンチマークであるFrontierSWE v2をリリースしました。タスク数は34に拡大され、そのうち21は新たな課題です。各タスクには最大20時間の実行時間が設定されており、長期間にわたる実際のエンジニアリング作業を評価するために使用されます。
Proximal社は、長期的なソフトウェアエンジニアリングベンチマークを34のタスクに拡張したFrontierSWE v2をリリースしました。
新バージョンでは、21種類の新たな課題が追加され、単一タスクの実行時間が最大20時間に延長されました。これにより、ファイル間変更、テスト、ビルド、長時間のデバッグなど、実際のエンジニアリング環境により近い作業に対応できるようになりました。
公式ページには、このベンチマークにおける各モデルのスコアも掲載されています。これらの結果は、FrontierSWE v2のタスクセット、実行環境、およびスコアリング方法に依存しており、同等の性能を持つモデル間の比較に適しています。すべてのソフトウェア開発シナリオにおける総合的な性能ランキングと直接的に同一視すべきではありません。