FairyGen - AIを活用したアニメーションストーリー動画生成フレームワーク。一貫したスタイルと一貫性のある物語を保証します。 - AiBoss

FairyGenとは何ですか？

グレーターベイエリアの大学が開発したFairyGenは、手描きのキャラクタースケッチ1枚から、一貫性のあるストーリーとスタイルを備えたアニメーションストーリー動画を生成できるアニメーションストーリー動画生成フレームワークです。このフレームワークは、ストーリープランニングにマルチモーダル大規模言語モデル（MLLM）を使用し、スタイル伝播アダプタを用いてキャラクターのビジュアルスタイルを背景に適用し、3Dエージェントを用いてキャラクターを再構築してリアルなモーションシーケンスを生成し、2段階モーションアダプタを用いて動画アニメーションの一貫性と自然さを最適化します。FairyGenは、スタイルの一貫性、ストーリーの一貫性、モーション品質に優れており、パーソナライズされたアニメーション制作の新たな可能性を切り開きます。

FairyGenの主な機能

アニメーションストーリー動画の生成手描きのキャラクタースケッチ1枚から出発し、一貫性のあるストーリー展開と統一感のあるスタイルを持つアニメーションストーリー動画を生成します。
スタイルの一貫性を維持するスタイル伝播アダプタに基づいて、手描きキャラクターのビジュアルスタイルが背景に適用され、ビデオ全体を通してスタイルの一貫性が確保されます。
複雑な動作生成3Dプロキシを使用してキャラクターを再構築し、物理的に妥当な動作シーケンスを生成することで、複雑でありながら自然な動作表現をサポートする。
物語の一貫性を支えるストーリープランニングにはマルチモーダル大規模言語モデル（MLLM）を使用し、構造化されたストーリーボードを生成して、ビデオの物語の一貫性を確保する。

FairyGenの技術原理

ストーリープランニングマルチモーダル大規模言語モデル（MLLM）を使用して、手描きのキャラクタースケッチ1枚から構造化されたストーリーボードを生成し、全体的な物語の概要と詳細なショットレベルのストーリーボードを定義し、ビデオの物語フレームワークの基礎を提供します。
スタイルの普及スタイル伝播アダプタに基づいて、手描きキャラクターのビジュアルスタイルを学習し、背景に適用することで、背景とキャラクターのビジュアルスタイルの一貫性を確保し、ビデオ全体の視覚的な一貫性を向上させます。
3Dモーションモデリングキャラクターは3Dエージェントを使用して再構築され、スケルトンリギングとモーションリターゲティング技術に基づいて、アニメーションに自然で滑らかな動きを提供する、物理的に妥当なモーションシーケンスが生成されます。
2段階モーションアダプター画像から動画への拡散モデルに基づき、2段階の学習戦略を採用する。第1段階では、時間的な偏りを除去するためにキャラクターの空間的特徴を学習する。第2段階では、動きの連続性と自然さを確保するために、時間ステップ戦略に基づいて動作ダイナミクスを学習する。
動画の生成と最適化上記の構成要素を組み合わせ、精緻に調整された画像から動画への拡散モデルを用いることで、ストーリーボードに沿った多様かつ一貫性のある動画シーンが直接レンダリングされ、最終的に完全なアニメーションストーリー動画が生成されます。

FairyGenのプロジェクトアドレス

プロジェクト公式サイト：https://jayleejia.github.io/FairyGen/
GitHubリポジトリ：https://github.com/GVCLab/FairyGen
arXiv技術論文：https://arxiv.org/pdf/2506.21272

FairyGenの応用シナリオ

教育教師はFairyGenを使って、生徒が手描きしたキャラクターをアニメーションストーリーに変換することができ、生徒の作文力と創造性を刺激することができます。
デジタルアート制作アーティストはFairyGenを使って手描きのスケッチからアニメーション動画を素早く生成し、時間とコストを節約しながら効率的にクリエイティブなアイデアを実現しています。
メンタルヘルス療法セラピストはFairyGenを使って、患者が手描きのキャラクターをアニメーションストーリーに変換するのを支援し、感情表現と心理的回復を促進する。
子どもの創造性の発達親と子はFairyGenを一緒に使用して、子供が手描きしたキャラクターからアニメーションを作成することができ、想像力と創造性を育み、親子間の交流を深めることができます。
広告とマーケティング広告主はFairyGenを利用してパーソナライズされたアニメーション広告を作成し、視聴者を引きつけ、ブランドコミュニケーションを強化しています。