Magnetic-UI - 人間とコンピュータの協働を目的とした、マイクロソフトのオープンソースAIエージェント研究プロトタイプ - AiBoss

Magnetic-UIとは何ですか？

Magentic-UIは、人間参加型AIエージェントシステムを研究するためにMicrosoftが開発したオープンソースの研究プロトタイプです。Magentic-UIは、ウェブページの閲覧、コードの実行、ファイルの処理といった複雑なウェブタスクをユーザーと連携して完了できる、人間中心のAIエージェントです。主な機能として、共同計画、共同タスク、アクションガード、計画学習などが挙げられます。Magentic-UIは、ユーザーがタスクの計画と実行にリアルタイムで参加できるようにすることで、透明性と制御性に優れたインタラクティブな体験を提供します。人間のフィードバックを活用することで、タスク完了効率の向上、人件費の削減、そして人間とAIエージェントの協働を研究するための実験プラットフォームを提供します。

Magnetic-UIの主な機能

共同計画タスクを実行する前に、段階的な計画を作成します。ユーザーはこの計画を修正および承認することで、タスクが想定どおりに進むことを確認できます。
共同実行この機能により、今後の操作がリアルタイムで表示され、ユーザーはいつでも制御を引き継ぎ、タスクの実行がニーズを満たしていることを確認できます。
セキュリティメカニズム重要な操作や取り返しのつかない操作を実行する前にユーザーの承認を得ること、ユーザー定義の承認ポリシーをサポートすること、および運用上のセキュリティを確保すること。
学習と再利用タスクが完了すると、実行計画が保存され、ユーザーはそれを再利用したり、将来のタスクで変更したりして、効率を向上させることができます。

Magnetic-UIの技術的原理

システムアーキテクチャMagentic-UIは、AutoGenベースのMagentic-Oneシステムをベースとしており、複数の専門エージェントが連携してタスクを完了します。大規模言語モデル（LLM）によって駆動されるオーケストレーターは、ユーザーとの共同計画、ユーザーからのフィードバックを求めるタイミングの決定、および他のエージェントへのサブタスクの割り当てを担当します。ブラウザを制御するLLMエージェントを搭載したWebSurferは、クリック、入力、スクロールなどの操作を実行して、オーケストレーターから割り当てられたWebブラウジングタスクを完了できます。Dockerコード実行コンテナを使用するLLMエージェントを搭載したCoderは、オーケストレーターにフィードバックを提供します。Dockerコンテナとファイル変換ツールを使用するLLMエージェントを搭載したFileSurferは、ファイルを検索し、Markdown形式に変換し、ファイルに関する質問に答えることができます。
インタラクションフローユーザーは、テキストメッセージを入力したり画像を添付したりすることで、Magentic-UI と対話します。オーケストレーターは、ユーザーの入力に基づいて自然言語で段階的なプランを作成し、ユーザーはプラン編集インターフェースを使用してそれを変更できます。プランの各ステップについて、オーケストレーターはどのエージェントまたはユーザーがそのステップを実行するかを決定し、リクエストを送信して応答を待ちます。すべてのステップが完了すると、オーケストレーターは最終的な回答を生成し、ユーザーに提示します。実行中にプランが不十分であることが判明した場合、オーケストレーターはユーザーの許可を得て、新しいプランを再作成して実行します。
安全と管理ユーザーは、Magentic-UI がアクセスできる Web サイトのリストを設定できます。リストにない Web サイトへのアクセスには、ユーザーの明示的な承認が必要です。ユーザーは、Magentic-UI のタスク実行のどの段階でも中断でき、保留中のコード実行や Web ブラウジング操作を停止できます。Magentic-UI が制御するブラウザとコード実行エンジンは、ホスト環境への影響を避け、ログイン認証情報の漏洩などのセキュリティリスクを防止するために、Docker コンテナ内で実行されます。ユーザーは、Magentic-UI が特定の操作を実行する際にユーザーの承認が必要かどうかを判断するためのアクション承認ポリシーを設定できます。

Magnetic-UIプロジェクトのアドレス

プロジェクト公式サイト：https://www.microsoft.com/en-us/research/blog/magentic-ui
GitHubリポジトリ：https://github.com/microsoft/magentic-ui

Magnetic-UIの応用シナリオ

複雑なタスクの自動化これは、製品価格の比較、オンラインフォームへの入力、旅行の予約など、複数の手順を要するウェブタスクをユーザーが完了するのに役立ちます。
コード作成および実行支援データ分析やスクリプト作成などのために、コードスニペットを生成し、コードを安全に実行します。
文書処理と情報検索ファイル形式の変換、ファイル内容の検索、および関連する質問への回答を行います。
研究開発これは、研究者に対し、人間と機械の協働方法を探求するための実験プラットフォームを提供する。
教育と訓練教育ツールとしては、学習課題の計画やAIとの協働学習に役立ちます。