StoryMem - ByteDanceと南洋理工大学が共同開発した動画生成フレームワーク

StoryMemとは何ですか？

StoryMemは、ByteDanceと南洋理工大学が共同でリリースしたオープンソースの動画生成フレームワークで、AI動画生成におけるショット間の一貫性という長年の課題に取り組んでいます。明示的なビジュアルメモリ機構により、シングルショット動画拡散モデルをマルチショット物語ツールへと変換します。その中核となるのは、動的に更新されるキーフレームメモリライブラリを維持し、メモリをシングルショットモデルに注入することでショット間の一貫性を確保するMemory-to-Video（M2V）モジュールです。

StoryMemの主な機能

• マルチカメラ長尺動画生成複数のカメラを使った長編動画で一貫性のあるストーリーを生成し、複数のシーンにまたがる物語をサポートし、登場人物やシーン要素間の整合性を維持することができます。
• 動的メモリ機構キーフレームメモリライブラリを維持することで、そのメモリがシングルショットビデオ拡散モデルに注入され、ビデオが長期間にわたって論理的かつ視覚的な一貫性を維持することが保証されます。
• 映画のような画質と高い美的品質単レンズ式動画生成モデルの高い画質と美的特性を受け継ぎつつ、ユーザーの指示を正確に理解し、それに従うという特長を維持している。
• 柔軟なカメラ制御とトランジションショットレベルの制御をサポートしており、スムーズなショット切り替えやカスタマイズされたナラティブ表現を可能にします。
• レンズ間の一貫性の最適化マルチカメラ映像生成において、ショット間の一貫性を大幅に向上させ、他の手法に比べて明確な優位性を示す。
• カスタマイズされたストーリー生成この機能を使うと、ユーザーは参照画像を初期の記憶として使用することで、特定のニーズに合わせたカスタマイズされたストーリーを生成できます。

StoryMemの技術的原則

• メモリメンテナンス最初のショットを生成した後、システムはキーフレーム情報を抽出し、後続のショットを生成する際の参照用として、動的メモリライブラリに保存します。
• メモリ・トゥ・ビデオ（M2V）モジュールメモリバンク内の視覚的特徴は、シングルショットビデオ拡散モデルに注入され、メモリと生成されたコンテンツは、潜在空間のステッチングと負のRoPEオフセットによって融合される。
• セマンティックキーフレーム選択戦略各ショットを生成した後、意味論的なキーフレーム選択戦略と美的嗜好フィルタリングによって、情報が豊富で信頼性の高いメモリフレームを取得し、ショット間の長期的な一貫性を実現します。
• 反復レンズ合成ショットを繰り返し生成し、メモリライブラリを動的に更新することで、一貫性のある長編ビデオストーリーが徐々に構築されていく。
• 軽量LoRAチューニング事前学習済みのシングルショット動画拡散モデルは、LoRA（低ランク適応）による微調整を行うだけで、マルチショット物語ツールに変換できます。

StoryMemプロジェクトのアドレス

• プロジェクト公式サイト：https://kevin-thu.github.io/StoryMem/
• GitHubリポジトリ：https://github.com/Kevin-thu/StoryMem
• ハグフェイスモデルライブラリ：https://huggingface.co/Kevin-thu/StoryMem
• arXiv技術論文：https://arxiv.org/pdf/2512.19539

StoryMem アプリケーションシナリオ

• 広告とマーケティング一貫性のある広告動画を迅速に作成し、絵コンテ作成のコストを削減し、広告コンテンツの創造性と魅力を高めます。
• 映画およびテレビ制作このサービスは、独立系クリエイターや小規模な映画・テレビ制作チームに対し、一貫性のある物語性のある短編映画を効率的に制作するための技術サポートを提供し、制作プロセスを加速させる。
• コンテンツ作成これは、動画制作者が短時間で高品質な物語形式の動画を制作するのに役立ち、コンテンツ制作の効率性と多様性を向上させます。
• 教育と訓練教育や研修の場面で使用できる教育ビデオストーリーを作成し、学習の楽しさとインタラクティブ性を向上させます。
• エンターテインメントとゲームゲーム開発者やエンターテインメント業界向けに、ゲームのストーリーやエンターテインメントコンテンツを充実させるためのカスタマイズ可能なストーリー生成ツールを提供します。
• ソーシャルメディアこれは、ソーシャルメディアのクリエイターが魅力的な動画ストーリーを迅速に作成するためのツールを提供し、コンテンツのリーチとユーザーエンゲージメントを高めます。