StoryWeaver - 厦門大学とNetEase Fuxiが共同で開発した、統一されたストーリー可視化AIモデル。

StoryWeaverとは何ですか？

StoryWeaverは、厦門大学教育部マルチメディア信頼知覚・高効率コンピューティング重点実験室とNetEase Fuxi AI Labが共同開発したAIモデルで、知識強化型キャラクターカスタマイズにより高品質なストーリービジュアライゼーションを実現します。StoryWeaverは、独自のキャラクターグラフを用いて、ストーリー内のキャラクター、属性、関係性を豊かに表現します。キャラクターグラフによるカスタマイズ（CCG）と知識強化型空間誘導（KE-SG）技術を採用し、キャラクターのセマンティクスを正確に注入することで、テキストによる物語と一致する画像シーケンスを生成します。このシステムは、キャラクターのアイデンティティとテキストのセマンティクスとの整合性を維持することに優れており、ストーリービジュアライゼーションの精度と鮮明さを効果的に向上させます。

StoryWeaverの主な機能

• キャラクターのカスタマイズと視覚化テキストによる物語とキャラクター画像に基づいて、一連の視覚的なストーリー画像を生成し、特定のキャラクターの外見を精密にカスタマイズします。
• 意味的アライメントこのシステムは、生成された画像シーケンスがテキストプロンプトと意味的に整合していること、つまり画像の内容がテキストの説明と一致することを保証できます。
• 知識グラフアプリケーションこのシステムは、物語に登場するキャラクターの詳細な属性と、キャラクター間の関係性を理解し、表現することができる。
• 多役割相互作用StoryWeaverは、複数の登場人物が登場するストーリーシナリオを扱うことができ、各登場人物の個性を明確に保ちながら、登場人物間の自然なやり取りを描写します。
• 相互注意配分複数の登場人物が登場する物語において、登場人物の同一性混同の問題を回避するために、注意配分を最適化する。

StoryWeaverの技術的原則

• Character Graph (CG): オブジェクトノード（キャラクター）、属性ノード（キャラクターに関連する属性）、およびイベント（キャラクター間の関係）から構成される知識グラフCGを構築します。これらが一体となって、物語シーンの中核となる要素を定義します。
• Customization via Character Graph (CCG)CCGに基づき、CGにおける構造化された知識は、強化されたシーン記述に変換され、キャラクターの同一性保持とイベントの意味的整合性の一貫性を向上させる。
• 知識強化宇宙ガイダンス（KE-SG）知識エンコーダを導入することで、様々なキャラクターの特徴を抽出する。キャラクターの特徴に応じて初期位置の事前確率を調整し、誤ったクロスアテンションマップを修正することで、キャラクターの知識が物語シーン内の対応する領域に正確に焦点を合わせるようにする。
• 注意機構の修正この手法は、登場人物に関連する領域を強化し、登場人物に関係のない領域への注意を減らすことで、アテンションマップを改善し、それによって複数の登場人物が登場する物語の視覚的な品質を向上させます。
• 統一フレームワークStoryWeaverは、単一キャラクターと複数キャラクターの両方のストーリー可視化タスクを処理できる統一されたフレームワークを提供します。

StoryWeaverプロジェクトのアドレス

• GitHubリポジトリ：https://github.com/Aria-Zhangjl/StoryWeaver
• arXiv技術論文：https://arxiv.org/pdf/2412.07375

StoryWeaverの応用シナリオ

• 教育支援StoryWeaverを使って物語の画像を生成すると、子供たちが言語や文学を学び、読書への興味を高めるのに役立ちます。
• 漫画制作漫画のストーリーのコマ画像を自動生成し、漫画家の創作プロセスを加速させます。
• インタラクティブゲームロールプレイングゲームでは、ストーリー展開やビジュアルコンテンツはプレイヤーの選択に基づいて動的に生成される。
• パーソナライズされた広告さまざまな製品に合わせてパーソナライズされたストーリー広告をカスタマイズすることで、広告の魅力と効果を高めることができます。
• 映画予告編映画の脚本を視覚的なシーンに変換することは、監督が制作前の計画やプレビューを行う際に役立つ。