MinT - タイムスタンプを柔軟に制御できる、連続したイベントを生成するためのテキストからビデオへの変換モデル。 - AiBoss

MinTとは何ですか？

MinT（Mind the Time）は、Snap Research、トロント大学、Vector Instituteが共同開発したマルチイベント動画生成フレームワークです。正確な時間制御に基づき、テキストプロンプトに従って複数のイベントを含む動画シーケンスを生成します。MinTの中核技術はReRoPE（Reliable Time-Based Position Encoding）で、これによりモデルは特定のテキストプロンプトを動画内の対応する時間セグメントに関連付けることができ、イベントが順番に発生することを保証するとともに、各イベントの継続時間を制御します。動画内のイベントの時間制御を提供する初のモデルとして、MinTは既存のオープンソースモデルを凌駕し、一貫性のある動的に接続されたイベントを生成することで、動画コンテンツ制作に新たな柔軟性と制御性をもたらします。

MinTの主な機能

複数イベントのビデオ生成テキストプロンプトに基づいて、複数のイベントを含む動画を生成します。イベントには、動作、表情、日常的な活動などが含まれます。
時間制御これにより、ユーザーは各イベントの開始時刻と終了時刻を指定でき、ビデオ内のイベントの順序と期間を正確に制御することが可能になります。
一貫性を維持する複数のイベントをまとめた動画を作成する際は、一貫したテーマや背景など、動画コンテンツの一貫性を維持してください。
高品質ビデオ合成高品質な動画コンテンツを生成するためにモデルを最適化し、動画のダイナミズムと視覚的な品質を確保する。
LLMベースのプロンプトエンハンサーこれは、大規模言語モデル（LLM）に基づいたキューエンハンサーを提供し、短いキューを詳細な全体的および時間的なキャプションに展開することで、よりリッチなビデオコンテンツを生成します。

MinTの技術原則

時間ベース位置符号化（ReRoPE）eRoPEは、時間ベースの位置符号化手法であり、テキストの手がかりをビデオフレームに関連付ける方法をモデルに指示し、イベントが正しい時間枠内で発生することを保証する。
事前学習済みビデオ拡散トランスフォーマー（DiT）事前学習済みの潜在拡散変換器（DiT）に基づき、この変換器はエンコーダーに基づいてビデオをビデオトークンにエンコードし、その後、ノイズ除去ネットワークを使用してビデオを生成します。
グローバルキャプションとタイムキャプション間の相互注意各DiTブロックでは、グローバルキャプションとタイムキャプションをそれぞれ処理するために2つのクロスアテンションレイヤーが使用され、イベントを正確に制御することが可能になります。
イベントの時間範囲の関係時間ベースのキャプションを提供します。このモデルは一度に1つのイベントに焦点を当て、生成プロセス中にイベントの時間範囲を制御します。
シーン切り替え制御条件付きモデリングに基づいて、動画内のシーン遷移が特定され、生成された動画におけるカメラ遷移の影響が制御される。
強化されたプロンプト短いテキストプロンプトを大規模言語モデル（LLM）で拡張し、詳細なグローバルキャプションとタイムキャプションを生成することで、ユーザーはシンプルなプロンプトから複雑なビデオコンテンツを生成できるようになります。

MinTのプロジェクトアドレス

プロジェクト公式サイト：mint-video.github.io
arXiv技術論文：https://arxiv.org/pdf/2412.05263v1

MinTの応用シナリオ

エンターテインメント業界映画やテレビシリーズのプリプロダクション段階で使用され、脚本の動的なプレビューを生成することで、チームがシーンや出来事の流れを理解するのに役立ちます。
広告業界動的な広告を作成することで、広告における商品表示のタイミングを正確に制御し、情報伝達の効果を高めることができます。
教育歴史再現や科学実験シミュレーションなどの教育ビデオを作成し、複雑な概念の学習と理解を視覚的に支援する。
ゲーム業界ゲームの物語体験を向上させるため、ゲーム内ストーリーアニメーションやカットシーンを生成する。
ニュースメディアニュースイベントの動的な要約動画を素早く作成することで、ニュース報道の魅力を高め、情報伝達の効率性を向上させます。