Index-AniSora - Bilibiliのオープンソースアニメ動画生成モデル - AiBoss

Index-AniSoraとは何ですか？

Index-AniSoraは、Bilibiliがオープンソース化した高度なアニメ動画生成モデルです。このモデルは、アニメクリップ、国内制作アニメーション、VTuberコンテンツなど、様々なアニメスタイルの動画をワンクリックで生成できます。1,000万件を超える高品質なテキストと動画のペアを収録し、時空間マスキングモジュールを用いて画像から動画への生成、フレーム補間、ローカル画像誘導を実現しています。Index-AniSoraは、キャラクターの一貫性や動きの一貫性といった分野におけるモデルのパフォーマンスを評価するための、948本の多様なアニメーション動画からなるベンチマークデータセットを提供しています。

Index-AniSora V3は、シングルカード4090推論をサポートする強力なアニメーションビデオ生成モデルであり、高速な生成速度とマルチモーダルなインタラクション機能を備え、単一のキャラクターポートレートから360度ビデオを生成でき、任意のフレームガイダンスやスタイル転送ペイントなどの機能をサポートし、長尺ビデオの作成を効率的に支援します。

Index-AniSoraの主な特徴

画像から動画への変換一枚の画像から連続したアニメーション動画を生成し、静止画像から動的なシーンへと展開するのに適しています。
フレーム補間キーフレーム補間をサポートし、中間フレームの生成に基づいて滑らかなトランジションを実現することで、アニメーション制作における手作業による作画作業量を削減します。
ローカル画像誘導ユーザーがアニメーション生成の特定の領域を指定できるようにサポートします。
時空制御時間と空間を制御する能力を兼ね備え、最初のフレーム、最後のフレーム、複数フレームのガイダンスなど、さまざまな方法をサポートすることで、精密なアニメーション制作を実現します。
多様なスタイルに対応アニメシリーズ、国産アニメ、漫画原作、VTuberコンテンツなど、さまざまなアニメーションスタイルの動画を生成でき、多様なニーズに対応できます。

Index-AniSoraの技術原理

拡散モデル拡散モデルアーキテクチャに基づき、ノイズを段階的に除去することで高品質なビデオコンテンツを生成します。拡散モデルは生成タスクにおいて優れた性能を発揮し、複雑な時空間データの処理に適しています。
時空間マスクモジュールモデル生成時に特定の時間領域と空間領域を制御するために、時空間マスキングモジュールが導入されました。例えば、このマスクはアニメーションを生成する必要のあるフレームや領域を指定し、ローカルガイダンスやキーフレーム補間などの機能を実現します。
3D因果変分オートエンコーダー（3D因果VAE）これは、動画の時空間的特徴をエンコードおよびデコードするために使用され、動画を低次元の潜在空間に圧縮することで、計算の複雑さを軽減し、重要な時空間情報を保持します。
トランスフォーマーアーキテクチャこのアプローチは、Transformerの強力なモデリング機能を活用し、アテンションメカニズムを用いて動画内の複雑な時空間的依存関係を捉えます。Transformerを使用することで、モデルは長いデータシーケンスを処理し、より一貫性のある動画コンテンツを生成できます。
監視付き微調整事前学習に基づき、大量のアニメーション動画データを用いて教師ありファインチューニングを行い、モデルをアニメーション動画生成タスクにより適応させます。ファインチューニングの際には、弱学習から強学習への段階的学習やマルチタスク学習など、複数の戦略を用いてモデルの汎化能力と生成品質を向上させます。
データ処理パイプラインシーン検出、オプティカルフロー解析、美的評価などの技術に基づき、多数のオリジナルアニメーション動画から高品質な学習データが選択されます。学習データの品質と多様性を確保することで、モデル性能の向上が保証されます。

Index-AniSoraプロジェクトのアドレス

GitHubリポジトリ：https://github.com/bilibili/Index-anisora
ハギングフェイスモデルライブラリ：https://huggingface.co/IndexTeam/Index-anisora
arXiv技術論文：https://arxiv.org/pdf/2412.10255

Index-AniSoraの応用シナリオ

アニメーション制作高品質なアニメーションクリップを素早く生成し、手作業による作画作業を軽減し、クリエイティブな効率性を向上させます。
VTuberコンテンツバーチャルアンカーがコンテンツを作成するのに役立つ、ダンスやパフォーマンスなどのダイナミックな動画を生成します。
創造性の検証アニメーションのコンセプトやストーリーボードを素早く作成し、初期段階のクリエイティブな探求を支援します。
教育と訓練教育ツールとして、学生や初心者がアニメーション制作スキルを迅速に習得するのに役立ちます。
マーケティングとエンターテイメントマーケティング効果とユーザーエンゲージメントを高めるために、アニメーション広告、プロモーションビデオ、ソーシャルメディアコンテンツを作成します。