project
MATRIX-Gen - 上海交通大学とオックスフォード大学が共同開発したマルチエージェントシミュレーションシステム
MATRIX-Genは、上海交通大学とオックスフォード大学の研究チームによって開発されたマルチエージェントシミュレーションシステムです。独立したアイデンティティと個性を持つ1000体以上のAIエージェントで構成される社会をシミュレートし、多様で高品質なトレーニングデータを生成します。
MATRIX-Genとは何ですか?
MATRIX-Genは、上海交通大学とオックスフォード大学の研究チームが開発したマルチエージェントシミュレーションシステムです。独立したアイデンティティと個性を持つ1000体以上のAIエージェントで構成される社会をシミュレートし、多様で高品質な学習指示データを生成します。この学習指示データは、大規模言語モデル(LLM)の事後学習に使用され、モデルが人間の指示に従う能力を向上させ、複数のタスクにおいて優れたパフォーマンスを発揮します。MATRIX-Genは、一般的なデータセットやドメイン固有のデータセットなど、さまざまなニーズに応じて指示を合成し、大規模モデルの自己進化とパフォーマンス向上を促進します。
MATRIX-Genの主な機能
- データ合成MATRIX-Genは、多様で高品質なトレーニング指示データを統合し、大規模言語モデル(LLM)のトレーニング後の特定のニーズに対応します。
- シナリオシミュレーションMATRIX-Genは、1,000体以上のAIエージェントの社会的相互作用をシミュレーションすることで、ソフトウェア開発からビジネス活動まで幅広い分野を網羅する、現実的で豊富なシナリオを生成します。
- 命令生成MATRIX-Genは、シミュレーションされたシナリオに基づいて、人間の意図に沿った命令を生成することができ、合成された命令の現実性と制御性を保証する。
- パフォーマンスの向上MATRIX-Genで合成されたデータは、コード生成、複数ターン対話、セキュリティタスクなど、複数の領域におけるLLM(言語レベルモデル)の性能を向上させることができる。
- 自己進化MATRIX-Genで合成されたデータを使用することで、LLMは自己進化を実現し、限られたデータであっても従来の学習方法よりも優れた性能を発揮することができる。
MATRIX-Genの技術原理
- マルチエージェントシミュレーションMATRIX-Genは、マルチエージェントシミュレーション技術に基づいたAIソーシャルシミュレーター(MATRIX)であり、実際の人間のプロフィールに基づいて、それぞれが独自のアイデンティティと個性を持つ1,000以上のエージェントを生成します。
- 実世界のアーカイブ初期化エージェントは、匿名化された実在の人物プロファイルに基づいて初期化され、その性格と人生目標は大規模言語モデル(LLM)によって生成されます。目標は実行可能なステップに分解され、エージェントの行動計画が形成されます。
- 構造化されたコミュニケーションメカニズムMATRIX-Genは、構造化された通信メカニズムに基づいており、パケットと変調器を使用してエージェント間の通信を管理することで、シミュレーションのスケーラビリティとリアリズムを向上させています。
- シーン生成MATRIX-Genは、エージェント間の相互作用に基づいて、大規模な現実世界のシーンを生成し、それが学習後のデータ合成の基礎として使用されます。
- 命令生成器MATRIX-Genは、シーン駆動型の命令生成器として、シミュレーションされたシーンと特定のユーザーニーズに基づいてトレーニングデータを合成します。これには、教師ありファインチューニング(SFT)データセット、プリファレンスチューニング(DPO)データセット、およびドメイン固有のSFTデータセットが含まれます。
MATRIX-Genプロジェクトのアドレス
- GitHubリポジトリ:https://github.com/ShuoTang123/MATRIX-Gen
- arXiv技術論文:https://arxiv.org/pdf/2410.14251
MATRIX-Genの応用シナリオ
- ソフトウェア開発コード生成、コードレビュー、デバッグ、テストのための命令データを生成する。ソフトウェア開発タスクにおけるLLMのパフォーマンスを訓練および最適化する。
- 事業活動ビジネス上の意思決定、市場分析、顧客サービスなどのシナリオをシミュレーションすることで、ビジネスインテリジェンスと戦略計画におけるLLM(法務修士)の応用能力を高めるデータを生成する。
- 医学的診断医療分野の法学修士(LLM)の意思決定支援能力を向上させるため、医学的診断、症例分析、治療計画に関する議論に関連する教育データを作成する。
- 教育と訓練教育コンテンツ、カリキュラム設計、学習経路計画のための指導データを生成することで、個別化教育やオンライン学習プラットフォームにおけるLLMの活用を向上させる。
- 顧客サービス顧客相談、問題解決、サービスプロセス最適化のシナリオをシミュレーションし、自動化された顧客サービスシステムにおけるLLM(ローカルリーダーマネジメント)の有効性を向上させるデータを生成する。