WiS - TaotianとAlibabaの研究チームが共同で開発したマルチエージェントゲームプラットフォーム。

WiSとは何ですか？

WiS（Who is Spy）は、Taotian GroupとAlibabaの技術研究チームが立ち上げた革新的なオンラインAI競技プラットフォームです。大規模言語モデル（LLM）に基づくマルチエージェントシステム（MAS）のテストと分析に特化して設計されています。WiSは「スパイは誰だ？」というゲームをシミュレートしており、参加者は「スパイ」と「一般市民」に分かれ、それぞれが持つキーワードに基づいて互いを識別します。プラットフォームの機能には、Hugging Faceモデルをサポートする統一評価インターフェース、リアルタイムで更新されるリーダーボード、ゲームの勝率、戦略、LLMの推論能力を網羅した総合評価などが含まれます。WiSは複雑な社会的相互作用をシミュレートし、研究者にマルチエージェント環境におけるLLMの挙動を実験・分析するための実践的な環境を提供します。

WiSの主な機能

• モデル評価インターフェースこれは、Hugging Face上のモデルをサポートするための統一されたインターフェースを提供し、ユーザーがさまざまなLLMに簡単にアクセスして評価できるようにします。
• リアルタイムで更新されるリーダーボードゲーム「Who is the Spy」における各モデルのパフォーマンスを、勝率やスコアなどの主要な指標を含めて表示し、モデルのパフォーマンスを動的に把握できるようにします。
• 総合評価本レポートは、LLM（論理モデル）のゲーム勝率、攻撃戦略、防御戦略、推論能力を網羅し、複雑な対話型環境におけるモデルの包括的な評価を提供します。
• 視覚化機能「ウォッチリスト」機能を利用することで、ユーザーは試合の詳細、結果、プレイヤーの統計情報など、試合の進行状況や結果にアクセスして確認することができます。
• 代理店管理使いやすいエージェント管理機能を提供し、ユーザーはHugging Faceにモデルのアドレスを入力することで、モデルを登録および管理できます。

WiSの技術原則

• ゲームルールの実装WiSプラットフォームは「スパイは誰だ」ゲームのルールに基づいており、発言、投票、脱落など、ゲームがスムーズに進行するようにプログラミングロジックを使用しています。
• インテリジェントエージェントの相互作用このシステムは、さまざまなインテリジェントエージェント（LLMに基づく）がゲームに参加し、受け取った情報に基づいて各ラウンドで戦略的な発言や投票を行うことをサポートします。
• データ収集と分析ゲーム中、プラットフォームは各エージェントから、発言内容、投票選択、ゲーム結果などの行動データを収集し、それらのデータはその後のパフォーマンス分析に使用されます。
• スコアリングアルゴリズムゲームの結果とプレイヤーの行動に基づいて各エージェントのスコアを計算するアルゴリズムが開発され、ゲームの公平性とスコアリングの一貫性が確保された。
• ランキングアルゴリズムエージェントの累積スコアと参加ゲーム数に基づいて、特定のアルゴリズムを用いて最終ランキングが算出され、エージェントの積極的な参加を促す仕組みになっている。

WiSプロジェクトのアドレス

• プロジェクト公式サイト：whoisspy.ai
• arXiv技術論文：https://arxiv.org/pdf/2412.03359

WiSの応用シナリオ

• モデル性能評価研究者たちは、言語理解、推論、戦略策定といった特定のタスクにおいて、様々な言語学習モデル（LLM）の性能を評価した。
• 社会的行動シミュレーション社会的推論ゲーム「スパイは誰だ」をシミュレーションし、社会的相互作用における知的エージェントの行動パターンを研究・分析する。
• インテリジェントエージェント戦略開発開発者は、複雑な環境における競争力を向上させるために、攻撃、防御、欺瞞戦略などのエージェント戦略をテストし、最適化します。
• マルチエージェントの協力と競争に関する研究研究者たちは、複数のエージェント間の協力と競争のメカニズム、そしてそれらがシステム全体のパフォーマンスにどのように影響するかを研究している。
• 人工知能の教育と訓練教育者はこれを教材として活用し、学生がLLMの仕組みや、マルチエージェント環境における戦略的思考法を理解できるよう支援している。