GenMAC - 香港大学、清華大学、マイクロソフトが共同で、テキストから動画を生成するためのマルチエージェント連携フレームワークを発表。 - AiBoss

GenMACとは何ですか？

GenMACは、香港大学、清華大学、およびマイクロソフトリサーチが開発した、マルチエージェントコラボレーションのための反復フレームワークであり、テキストからビデオへの変換における複雑なシーン生成問題を解決するために設計されています。タスクは、設計、生成、再設計の3つのフェーズに分割されます。生成と再設計の間には反復ループが確立され、ビデオコンテンツを段階的に検証および最適化します。再設計フェーズはさらに、検証、提案、修正、構造化出力の4つのサブタスクに細分化されます。これらは、適応型自己ルーティングメカニズムを使用して現在のシーンに適したエージェントを選択することで、より正確なビデオ生成を実現する、専門のエージェントによって順次実行されます。

GenMACの主な機能

テキストと動画を組み合わせた生成これは、複数のオブジェクト、属性の結合、時間的なダイナミクス、オブジェクト間の相互作用を含むシナリオを処理し、複雑なテキストプロンプトを組み合わせてビデオを生成します。
反復ワークフロー動画コンテンツは、設計、生成、再設計という3つの段階と、それらの間の反復サイクルを含む反復的なアプローチを用いて段階的に改善されます。
マルチエージェントコラボレーションこのフレームワークは、それぞれが特定のサブタスクを処理する役割を担う、複数の専門的なMLLM（マルチモーダル大規模言語モデル）エージェントを使用して、集合知を実現します。
タスクの内訳再設計フェーズは、検証、推奨、修正、出力構造という4つのサブタスクに分割され、それぞれ異なるエージェントの順序で実行されます。
適応型自己ルーティング機構GenMACは、さまざまな発生シナリオに適応するために適応型自己ルーティングメカニズムを採用しており、修正のために専用のプロキシセットから最適なプロキシを選択します。
シーンの精度とテキストの配置を改善するマルチエージェントによる協調と反復的な改良を用いることで、ビデオシーンの精度とテキストプロンプトとの整合性を向上させる。

GenMACの技術原則

タスクの分解と役割の専門化複雑な動画生成タスクはより単純なサブタスクに分割され、各サブタスクには専用のエージェントが割り当てられ、各エージェントは特定の役割と責任を担う。
反復ループ生成フェーズと再設計フェーズの間には反復ループが設定されており、モデルが生成されたビデオを段階的に検証および修正し、テキストプロンプトにより適切に整合させることができるようになっている。
エージェント間の連携：
- 認証プロキシ動画コンテンツとテキストプロンプトの整合性を確認してください。
- 推奨エージェント検証結果に基づき、修正案を提示し、適切な修正剤を選択する。
- プロキシを変更するレイアウトやガイドラインの比率など、提案に基づいてビデオのデザインを調整してください。
出力構造化プロキシ修正結果は構造化された形式に変換され、次の反復処理への入力として使用されます。
適応型自己ルーティングさまざまな生成要件やシナリオに基づいて、一貫性、時間的変動、空間的変動などの問題に対処するために最適な補正剤を適応的に選択します。
ステージ間の情報フローレイアウト、ガイドの比率、テキストプロンプトなどの情報は、より正確なビデオ生成を実現するために、設計、生成、再設計の各段階間で継続的に更新され、受け渡されます。

GenMACのプロジェクトアドレス

プロジェクト公式サイト：karine-h.github.io/GenMAC
GitHubリポジトリ：https://github.com/Karine-Huang/GenMAC
arXiv技術論文：https://arxiv.org/pdf/2412.04440

GenMACのアプリケーションシナリオ

映画およびビデオ制作脚本や絵コンテのテキスト説明に基づいてビデオクリップを生成し、監督やプロデューサーがシーンをプレビューできるようにします。
ゲーム開発ゲームデザインにおいては、ゲーム環境や動的なシーンのコンセプトビデオを生成し、ゲームデザイナーの創作プロセスを支援する。
広告とマーケティング広告コピーに基づいて動画広告を生成することで、クリエイティブなコピーを迅速にビジュアルコンテンツに変換し、広告制作の効率を向上させます。
教育と訓練複雑な理論や歴史的出来事を動画形式で解説する教育ビデオを作成し、学習体験を向上させる。
ニュースとメディアプレスリリースや報告書に基づいてニュース動画を自動生成することで、ニュース制作の効率性と対応力を向上させます。