GTA - 上海AIラボは、上海交通大学と共同で、汎用インテリジェントエージェントを評価するためのベンチマークテストを開始しました。 - AiBoss

GTAとは何ですか？

GTA（汎用ツールエージェントのベンチマーク）は、上海交通大学と上海AIラボが共同で立ち上げたベンチマークで、大規模言語モデル（LLM）が現実世界のシナリオでツールを呼び出す能力を評価することを目的としています。GTAは、実際のユーザーの質問、実際に展開されたツール、マルチモーダルな入出力を提供することで、包括的かつ詳細な評価フレームワークを確立し、複雑なシナリオにおけるLLMのツール使用能力を効果的に測定します。GTAには、知覚、行動、論理、創造性など複数のカテゴリを網羅する229の人間が設計した質問が含まれており、モデルは適切なツールについて推論し、操作手順を計画し、複雑な現実世界のタスクを解決する必要があります。

GTAの主な機能

実際のユーザークエリ本書には、人間が作成した229問の問題が収録されている。問題には単純な現実世界の目標が設定されているが、解決手順と必要なツールは明示されていない。学習者は、論理的思考に基づいて適切なツールを選択し、操作手順を計画する必要がある。
実世界での導入ツールGTAは、エージェントの実際のタスク遂行能力を評価するために、知覚、操作、論理、創造性という4つのカテゴリーにわたる14種類のツールを展開する評価プラットフォームを提供します。
マルチモーダル入出力GTAは、空間シーン、ウェブページのスクリーンショット、表、コードスニペット、手書き/印刷物などのマルチモーダル入力を導入しており、モデルは豊富なコンテキスト情報を処理し、テキストまたは画像を出力する必要がある。
詳細な評価GTAは、指示遵守精度（InstAcc）、ツール選択精度（ToolAcc）、パラメータ予測精度（ArgAcc）、回答要約精度（SummAcc）、最終回答精度（AnsAcc）など、きめ細かな評価指標を設計しています。
モデル評価GTAは、段階的モードとエンドツーエンドモードの両方で言語モデルを評価し、モデルツールを使用する能力を包括的に評価します。

GTAの技術的原則

データセットの構築GTAデータセットの構築は、問題の構築とツールチェーンの構築という2つのステップで構成されます。問題は、専門家がサンプル例と注釈ドキュメントを用いて設計し、注釈担当者がこれらの例に基づいてさらに多くの問題を設計します。ツールチェーンは、注釈担当者が事前に展開されたツールを手動で呼び出し、各問題が提供されたツールで解決できることを確認することで構築されます。
ツール呼び出しGTAはReActスタイルのプロンプトテンプレートを使用して、LLMが特定の形式でツールを呼び出し、ツールから返された結果を処理できるようにします。これらのテンプレートは、LLMが推論と計画を行い、ツールを呼び出すタイミングと方法を決定するのに役立ちます。
マルチモーダル処理GTAは、LLMが画像やテキストを含むマルチモーダル入力を処理および理解することを必要とし、モデルがクロスモーダルな理解および推論能力を持つことを要求する。
詳細な評価指標GTAの評価指標は、LLMツールの呼び出しプロセスから実行結果まで、ツール呼び出しプロセス全体を網羅しており、モデルのパフォーマンスを包括的に評価します。
モデル比較本研究は、GTAにおける様々なモデルの性能比較に基づき、既存モデルが現実世界の問題に対処する際にツールを使用する際のボトルネックを明らかにし、将来の汎用インテリジェントエージェントの改善に向けた方向性を示す。

GTAプロジェクトの住所

プロジェクト公式サイト：open-compass.github.io/GTA
GitHubリポジトリ：https://github.com/open-compass/GTA
ハギングフェイスモデルライブラリ：https://huggingface.co/datasets/Jize1/GTA
arXiv技術論文：https://arxiv.org/pdf/2407.08713

GTAアプリケーションシナリオ

スマートアシスタント開発GTAは、複数の手順とツール呼び出しを含む複雑なユーザー要求をより適切に理解し実行できるよう、インテリジェントアシスタントの評価とトレーニングを行います。
マルチモーダルな相互作用画像、テキスト、その他のマルチメディアコンテンツの処理が必要なシナリオでは、GTAはモデルが複数の入力タイプを組み合わせて問題を解決する方法を学習するのに役立ちます。
自動化された顧客サービスGTAは、顧客の問題を自動的に解決するシステムの開発に使用されます。これらのシステムは、正確な回答と解決策を提供するために、さまざまなツールやリソースを活用する必要があります。
教育と訓練GTAは、多段階の推論とツールの使用を必要とする複雑なタスクの設計と実装方法を学生が理解するのに役立つ教育ツールとして機能します。
研究開発研究者たちはGTAを用いて様々なLLMをテスト・比較し、ツールの利用能力を活用し、AI技術を進歩させる新たな方法を模索した。