Collaborative Gym - 人間とAIエージェント間のリアルタイムなインタラクティブなコラボレーションを支援する評価フレームワーク。

Collaborative Gymとは何ですか？

Collaborative Gym（Co-Gym）は、人間とAIエージェント間のリアルタイムなインタラクションとコラボレーションをサポートする、人間とエージェントのコラボレーションに特化したフレームワークです。シミュレーション環境と実環境の両方での実験を通じて、開発者は制御された環境で反復開発を行いながら、同時に実環境におけるコラボレーションの有効性を検証・評価できます。Co-Gymは非同期インタラクションをサポートし、エージェント、人間、タスク環境間の3者間インタラクションを処理できます。

コラボレーティブジムの主な機能

• 非同期インタラクションをサポートするCo-Gymは、従来のマルチエージェントフレームワークにおける同期的な動作の制約を打破し、人間とAIエージェントが厳密な順序的な相互作用パターンに縛られることなく、柔軟に連携して動作を開始できるようにします。これは、より現実的な人間の協働モデルに近いものです。
• タスク環境設計Co-Gymは、各タスクを部分観測マルコフ決定過程（POMDP）として定義し、公開観測空間と非公開観測空間の両方をサポートします。公開部分はすべての参加者に表示され、非公開部分は所有者のみに表示されます。これは、人間のチームにおける共有ホワイトボードと個々のメモの違いに似ています。
• 評価フレームワークCo-Gymは、タスク完了という成果に焦点を当てつつ、コラボレーションプロセスそのものを重視しています。コラボレーションの質とコラボレーションプロセスの2つの側面からエージェントを評価する包括的な評価フレームワークを提供します。
• シミュレーション条件と実条件の比較Co-Gymは、シミュレーション環境と実環境の両方の実験条件に対応しています。シミュレーション環境では、事前に収集されたタスクインスタンスとシミュレーションされた人間の行動を利用することで、迅速な反復開発を促進します。一方、実環境環境では、実際のタスク環境で実際の人々と協働することができ、旅行計画、文献レビュー、表形式分析など、さまざまなタスクをサポートします。

コラボレーティブジムの技術的原則

• コラボレーション主導型の環境デザインCo-GymはOpenAI Gymのデザインから着想を得て、人間とコンピュータの協働に最適化されています。観察空間に公開セクションと非公開セクションを定義する機能をサポートしており、公開セクションはすべての参加者に表示され、非公開セクションは所有者のみに表示されます。これにより、現実世界の協働シナリオにおける共有情報と個人メモの違いをシミュレートします。
• 非同期インタラクションCo-Gymは非同期インタラクションをサポートしており、人間とエージェントは必要に応じて相手からの応答を待つことなく独立して行動できます。この目的のために、Co-GymはSendTeammateMessageとWaitTeammateContinueという2つの協調動作を導入し、通知プロトコルを使用して参加者に環境の変化をリアルタイムで通知します。
• 通知に関する合意Co-Gymは、Redisサーバーを介した通知プロトコルを実装しており、共有観測データの更新、プライベート観測データの変更、新規メッセージ通知、環境非アクティブタイムアウト通知の4種類のイベントをサポートしています。これにより、エージェントは環境の変化をリアルタイムで監視し、人間との連携をより効果的に行うことができます。
• タスク環境インターフェース（CoEnv）Co-Gymは柔軟なタスク環境インターフェースを提供し、開発者は新しいタスク環境を簡単に追加できます。開発者は、タスクの説明、アクションスペース、および観察スペースを定義するだけで済みます。Co-Gymは、旅行計画、文献レビュー、表形式データ分析など、さまざまなタスク環境をサポートしています。

コラボレーティブジムプロジェクトの住所

• GitHubリポジトリ：https://github.com/SALT-NLP/collaborative-gym
• arXiv技術論文：https://arxiv.org/pdf/2412.15701

Collaborative Gymの応用シナリオ

• 旅行計画旅行計画において、Co-Gymは人間とAIエージェントの協働を可能にし、詳細な旅行プランの作成を支援します。エージェントは検索機能と計画機能を活用し、人間は好みや専門知識を提供することで、共同で旅行プランを完成させることができます。
• 表形式分析Co-Gymは、エージェントと人間が共有できるワークスペースとリアルタイムのコミュニケーション機能を提供し、効果的な共同分析を支援します。
• 文献レビュー（関連研究）文献レビュー作業において、Co-Gymは人間とAIエージェントの協働を支援し、学術文献の整理と分析を行います。エージェントは関連文献を迅速に検索・選別し、人間は専門知識を提供することで、質の高い文献レビューを共同で作成できます。