FutureX - ByteDanceが復旦大学などの大学と共同で立ち上げた、動的なリアルタイム評価ベンチマーク

FutureXとは何ですか？

ByteDance、復旦大学、スタンフォード大学、プリンストン大学の研究チームが共同で開発したFutureXは、LLMエージェントの将来予測タスク向けに特別に設計された、動的かつリアルタイムな評価ベンチマークです。半自動化されたパイプラインを通じて、195の高品質なウェブサイトから将来のイベントに関する質問をリアルタイムで収集し、イベント解決後に実際の結果を自動的に取得してスコアリングすることで、データの汚染を効果的に回避します。FutureXは、政治、経済、金融、スポーツ、エンターテイメントなど、複数の分野を網羅し、単一選択式、複数選択式、自由記述式ランキング、数値予測など、さまざまな質問形式を含み、4つの難易度レベルに分かれているため、LLMエージェントの推論能力と予測能力を総合的に評価できます。

FutureXの主な機能

• 動的なリアルタイム更新FutureXは、将来発生する事象に関する問題をリアルタイムで収集し、事象が解決された後にスコアリングのための実際の結果を自動的に取得することで、評価の適時性とダイナミズムを保証します。
• データ汚染を避けるFutureXは将来の出来事の予測に重点を置くことで、エージェントが予測を行う時点でその事象がまだ発生していないことを保証し、データの汚染を防ぎ、評価の公平性を確保します。
• 現実世界の課題をシミュレートするFutureXは、LLMエージェントを現実世界の情報フローの中に配置することで、将来の出来事を予測することを要求する。そのため、エージェントは情報収集、データ統合、確率のトレードオフ、因果推論といった高度な認知能力を備えている必要がある。
• 大規模なクロスドメインカバレッジFutureXは、政治、経済、金融、スポーツ、エンターテインメントなど、複数の分野を網羅する195の質の高いウェブサイトから質問を収集し、包括的な評価環境を提供します。
• 自動評価プロセスFutureXの評価プロセスは完全に自動化されており、質問の更新、回答の収集、客観的なスコアの提供を毎日自動的に行うことで、評価の効率性と拡張性を向上させています。
• 複数の種類の質問と難易度レベルFutureXには、単一選択式、複数選択式、自由順位付け、数値予測など、さまざまな問題形式が含まれており、LLMエージェントの能力を総合的に評価するために4つの難易度レベルに分かれています。
• LLMエージェンシーの発展を促進するFutureXは、LLMエージェント向けに動的で環境に配慮した評価基準を提供し、エージェントをプロの人間アナリストのレベルに近づけ、複雑な推論や予測タスクにおけるパフォーマンスを向上させます。

FutureXのコアとなる強み

• 設計原則FutureXは、LLMエージェントの中核となる知能を評価するために、現実世界の課題をシミュレートする、動的で包括的かつデータに依存しない評価を提供することを目指しています。
• データ汚染なしFutureXは、将来の出来事を予測することに重点を置くことでデータ汚染を回避し、エージェントが予測を行う時点でその出来事がまだ起こっていないことを保証します。
• 現実世界の課題をシミュレートするFutureXは、現実世界の情報フローの中にエージェントを配置し、未来の出来事を予測することを要求する。そのため、エージェントは情報収集、データ統合、確率のトレードオフ、因果推論といった高度な認知能力を備えている必要がある。
• 大規模かつ分野横断的なカバレッジFutureXは、政治、経済、金融、スポーツ、エンターテインメントなど、複数の分野を網羅する195の質の高いウェブサイトから、半自動化されたパイプラインを通じて質問を収集します。
• 動的かつ自動化された評価プロセスFutureXは、評価の適時性、客観性、拡張性を確保するために、質問を自動的に更新し、回答を収集し、客観的な採点を毎日提供します。

FutureXの構築プロセス

• ウェブサイトの収集とフィルタリング私たちはAIMEプロキシを使用して多数の関連ウェブサイトURLを収集し、その後LLMと手動レビューを使用して高品質のウェブサイトを選択し、最終的に195のウェブサイトをイベントデータベースとして特定しました。
• イベントテンプレート生成各ウェブサイトごとにイベントテンプレートを作成します。これらのテンプレートは、変数に基づいて異なる時間帯に適応するイベントを生成できます。
• イベント企画このシステムは、イベントデータベースから毎日予測問題を生成します。これには、イベントの操作（ランダムな選択肢の追加など）やフィルタリング（有害なイベント、主観的なイベント、または過度に単純化されたイベントの削除など）が含まれます。
• 機関の予測と評価エージェントモデルは毎日起動され、新たなイベントを予測し、イベントが解決された後にスコアリングのための実際の結果を自動的に取得します。
• 継続的なアップデートとメンテナンスイベントデータベースは毎日更新され、結果が入手できないイベントは削除され、新しいイベントが追加されることで、ベンチマークの動的な性質と適時性が確保されます。

FutureXのデータ特性

• リアルタイムFutureXのデータはリアルタイムで更新され、195の質の高いウェブサイトから将来の出来事に関する質問を毎日収集することで、評価内容が最新の情報と同期するようにしています。
• 多様性このデータは、政治、経済、金融、スポーツ、エンターテインメントなど、複数の分野を網羅しており、単一選択式、複数選択式、自由記述式、数値予測式など、さまざまな種類の質問が含まれています。
• 汚染のないこれは将来の出来事を予測することに焦点を当てており、代理人が予測を行う時点でその答えがまだ発生していないことを保証することで、データの汚染を回避し、評価の公平性を保証する。
• ダイナミズムFutureXのイベントと回答は動的に更新されます。イベントデータベースは、実際の状況に基づいて新しいイベントを追加したり、利用できないイベントを削除したりすることで、データを常に最新の状態に保ちます。
• 挑戦的FutureXは、イベントフィルタリングと難易度レベルを用いることで、単純な多肢選択問題から複雑な自由記述問題まで、様々な難易度の問題を提供し、LLMエージェントの能力を包括的に評価します。
• 大規模なFutureXは現在、最大規模かつ最も多様なリアルタイム未来予測ベンチマークであり、週に約500件のイベントを生成することで、評価のための豊富なサンプルを提供している。
• 信頼性厳格なデータスクリーニングと手動レビューを通じて、データソースの信頼性と品質を確保し、評価のための信頼できる根拠を提供します。

FutureXプロジェクトの住所

• arXiv技術論文：https://arxiv.org/pdf/2508.11987

FutureXの実験結果

• 総合結果Grok-4とGemini-2.5-flashのディープリサーチは最も難しいタスクで最高のパフォーマンスを発揮し、基本的なLLMは簡単なタスクで良好なパフォーマンスを発揮した。
• 難易度別の結果タスクの難易度が上がるにつれて、モデルのパフォーマンスは著しく低下し、特にレベル4（スーパーエージェントレベル）ではモデルが最も苦戦する。
• さまざまな分野からの結果異なるモデルは、分野によって異なる利点を発揮します。例えば、GPTモデルは暗号通貨やテクノロジーの分野で優れた性能を発揮する一方、DouBao-Seed1.6-Thinkingは金融や経済の分野で優れた性能を発揮します。
• 因子分析線形回帰分析の結果、難易度、ドメイン、モデル名がパフォーマンスに大きな影響を与えることが明らかになった。
• 事例研究これには、LLMエージェントとウォール街の金融アナリストの比較、偽ウェブサイトがエージェントに与える影響、リアルタイム検索機能の評価などが含まれる。

FutureXの応用シナリオ

• 金融セクターFutureXは、LLMエージェントが株価や経済指標などの将来の出来事を予測する能力を評価するために使用でき、金融機関が高性能な分析エージェントを選定するのに役立ちます。
• 政策決定これは、政策立案者がさまざまな政策の潜在的な影響を評価するのに役立つ、信頼性の高いインテリジェントエージェント評価ツールを提供する。
• ビジネス上の意思決定これは企業が市場動向や消費者の行動を評価するのに役立ち、経営判断を支援する。
• 技術動向分析技術開発とイノベーションの動向を予測し、テクノロジー企業や投資家への意思決定支援を提供する。
• スポーツイベントの予想スポーツ競技の結果や選手のパフォーマンスを予測し、スポーツ賭博やイベント主催者にとって参考となる情報を提供する。
• エンターテインメント業界映画や音楽などのエンターテインメント商品の人気度や興行収入を予測し、エンターテインメント業界における意思決定を支援する。