SEED-Story - テンセントのマルチモーダルストーリー生成モデル

SEED-Storyとは何ですか？

SEED-Storyは、テンセントが香港科技大学および香港中文大学と共同開発したマルチモーダルストーリー生成モデルです。マルチモーダル大規模言語モデル（MLLM）をベースとし、テキストトークンとビジュアルトークンを予測し、ビジュアルデトークナイザーを通してスタイルに一貫性のある画像を生成します。SEED-Storyはマルチモーダルアテンションメカニズムを導入し、最大25シーケンスの一貫性のあるストーリー生成をサポートします。また、SEED-Storyは、モデルのトレーニングと評価のための大規模高解像度データセットであるStoryStreamも提供します。

SEED-Storyの主な機能

• マルチモーダルなストーリー生成SEED-Storyは、与えられた開始画像とテキストに基づいて、一貫性のある物語文と統一感のある画像を持つ長編ストーリーを生成できます。
• マルチモーダル注意収束メカニズムSEED-Storyは、マルチモーダルな注意収束メカニズムを提案し、効率的な自己回帰的な方法で物語を生成することができ、最大25のシーケンスを持つ物語を生成できます。
• 大規模データセット SEED-Storyは、モデルのトレーニングや、さまざまな視点からのマルチモーダルなストーリー生成タスクの定量的評価に使用できる、大規模かつ高解像度のデータセット「StoryStream」を公開しました。
• ストーリーコマンドの調整ストーリー生成プロセスにおいて、SEED-Storyは指示の調整を通じてモデルを微調整し、ストーリー内の次の画像と次の文章を予測できるようにします。
• 視覚化とインタラクションSEED-Storyは視覚的な比較も提供しており、生成された画像が他のベースラインモデルと比較して、より高品質で一貫性が高いことを示している。

SEED-Storyの技術的原則

• マルチモーダル大規模言語モデル（MLLM）：大規模な言語モデルを活用して、テキストやビジュアルタグを理解、生成、予測する。このモデルは、テキストデータを処理・生成できるだけでなく、視覚コンテンツを理解し生成することもできます。
• テキストとビジュアルタグの予測：SEED-Storyモデルは、テキストタグ（テキスト内の要素や単語）とビジュアルタグ（画像内の要素）を予測できます。
• ビジュアルデトークナイザー：言語モデルによって生成されたテキストトークンとビジュアルトークンは画像に変換され、ビジュアルデトークナイザーによって一貫性とスタイルを備えた画像が生成される。
• マルチモーダル注意メカニズム：マルチモーダルな注意機構を導入することで、モデルがストーリー生成時にテキストと画像の関係性に焦点を当てられるようにする。この仕組みにより、モデルは長いシーケンスを生成するタスクをより効率的に処理できるようになります。
• 自己回帰生成：このモデルは自己回帰的なアプローチを用いてストーリーを生成する。つまり、新たに生成される各タグは、ストーリーの一貫性を維持するために、以前に生成されたすべてのタグに依存する。
• 長鎖シーケンス生成機能：SEED-Storyは、マルチモーダルな注意機構を通して、トレーニングシーケンスよりも長いストーリーシーケンスを生成することができる。
• StoryStreamデータセット：私たちは、モデルのトレーニングやマルチモーダルなストーリー生成タスクの評価に使用できる、大規模かつ高解像度のデータセットを提供します。このデータセットには、視覚的に魅力的な高解像度画像と詳細な解説テキストが含まれています。
• トレーニングプロセス：これには、画像を再構築するためのラベル除去器の事前学習、学習用のインターリーブされた画像テキストシーケンスのサンプリング、および生成された画像を調整するためのMLLM回帰画像特徴の使用が含まれます。

SEED-Storyプロジェクトの住所

SEED-Storyの応用事例

• クリエイティブライティング支援これは、作家やコンテンツ制作者がストーリーの概要、登場人物の説明、プロット展開を作成するのに役立ち、創造的なアイデアを刺激します。
• 教育と学習教育ツールとして、物語の構成を理解し、文章力と創造的思考力を向上させるのに役立ちます。
• エンターテインメントおよびゲーム開発ビデオゲームにおいて、没入感のある体験を提供するために、ダイナミックなストーリー展開とキャラクターの背景を生成する。
• 広告とマーケティング魅力的な広告ストーリーやマーケティング資料を迅速に作成し、広告コンテンツの魅力とパーソナライズ性を高めます。
• 映画およびアニメーション制作脚本作成を支援し、登場人物のセリフや場面描写を生成し、制作プロセスを加速させる。