MM-StoryAgent - 上海交通大学とアリババが共同でオープンソース化した、マルチエージェント方式の絵本動画生成フレームワーク。

MM-StoryAgentとは何ですか？

MM-StoryAgentは、上海交通大学のX-LANCE Labとアリババグループが共同開発した、没入型オーディオ絵本動画生成のためのオープンソースのマルチモーダル・マルチエージェントフレームワークです。大規模言語モデル（LLM）とマルチモーダル生成ツール（テキスト、画像、音声など）を組み合わせることで、多段階の執筆プロセスとモダリティ固有のプロンプトおよび修正メカニズムを通じて、物語の魅力と没入感を高めます。このフレームワークは柔軟なモジュール設計をサポートしており、異なる生成モデルやAPIの置き換えが可能です。MM-StoryAgentは、画像、音声、音楽、効果音の整合性を向上させ、物語の質を高め、子供向け絵本の自動作成において、効率的で柔軟かつ表現力豊かなソリューションを提供します。

MM-StoryAgentの主な機能

• 高品質なストーリー生成複数のエージェントによる協働と多段階の執筆プロセスに基づき、魅力的で教育的、かつ感情に訴えかけるストーリーコンテンツを生成します。
• マルチモーダルコンテンツ生成テキスト、画像、音声、音楽、効果音など、複数の表現形式を組み合わせることで、ユーザーに豊かで没入感のある体験を提供します。
• 役割の一貫性画像生成においては、文字抽出と手がかりの修正に基づいて、物語に登場するキャラクターの視覚的な一貫性を確保します。
• モーダルアライメント迅速な修正と対照学習モデルに基づき、テキスト、画像、音声の整合性を最適化することで、物語全体の整合性を向上させます。
• 柔軟なモジュール設計テキスト生成モデルや画像生成モデルなど、生成モジュールを柔軟に置き換えることができるため、開発者はニーズに合わせて簡単にカスタマイズや最適化を行うことができます。

MM-StoryAgentの技術的原理

• マルチエージェント協調アーキテクチャこの機能は、アマチュア作家と専門家作家の対話をシミュレートし、物語のアウトラインと章の内容を生成します。対話プロセスは人間のブレインストーミングを模倣しており、より豊かな創造性と物語の魅力を高めます。テキスト形式の物語を、画像や音声など、さまざまな形式に適したプロンプトに変換します。「改訂者とレビュー担当者」による複数回の共同作業に基づいて、プロンプトの質が最適化されます。
• マルチモーダル発電技術：
  • テキスト生成大規模言語モデル（LLM）に基づいて物語のテキストを生成する。
  • 画像生成拡散モデル（StoryDiffusionなど）を使用してストーリーの内容に合った画像を生成し、文字抽出を使用して複数のフレーム間でキャラクターの一貫性を維持します。
  • 音声生成テキスト読み上げ（TTS）モデルに基づいてナレーションを生成し、AudioLDM2やMusicGenなどのモデルを使用して効果音やBGMを生成します。
  • ビデオ合成生成された画像、音声、テキストコンテンツが組み合わされて、完全なオーディオストーリービデオが作成されます。
• モーダルアライメントの最適化生成されたコンテンツとテキストとの整合性を評価するために、対照学習モデル（CLIPやCLAPなど）を使用し、プロンプト修正メカニズムに基づいて生成効果を最適化する。
• モジュール設計このフレームワークは、さまざまな生成モデルとAPIの柔軟な置き換えをサポートしており、開発者はニーズに応じてより高度なモデルを選択して生成品質を向上させることができます。

MM-StoryAgentプロジェクトのアドレス

• GitHubリポジトリ：https://github.com/X-PLUG/MM_StoryAgent
• arXiv技術論文：https://arxiv.org/pdf/2503.05242
• オンラインでデモを体験してください：https://huggingface.co/spaces/wsntxxn/MM-StoryAgent

MM-StoryAgentの応用シナリオ

• 子供向け教育と娯楽子供たちの学習と成長をサポートする、楽しくて教育的な音声ストーリー動画を作成します。
• デジタルコンテンツ制作これにより、クリエイターはマルチモーダルなストーリーコンテンツを迅速に生成できるようになり、制作コストの削減と効率性の向上につながります。
• オンライン教育これは教材として機能し、物語を通して知識を説明することで、学習の楽しさを高めます。
• マルチメディア出版音声絵本の自動生成は、出版社がマルチメディアコンテンツを迅速に制作するのに役立ちます。
• スマートデバイスとの連携スマートスピーカーやタブレットなどのデバイスで使用され、パーソナライズされたストーリー生成サービスを提供する。