拡散自己蒸留 - スタンフォード大学発のゼロショットカスタム画像生成技術

拡散自己蒸留とは何ですか？

拡散自己蒸留（DSD）は、スタンフォード大学のJiajun Wu氏のチームが開発した、ゼロショットのカスタム画像生成技術です。事前学習済みのテキストから画像への拡散モデルを使用してデータセットを自動的に生成し、テキスト条件付き画像間変換タスクを実行するように微調整します。生成された画像グリッドと視覚言語モデルのフィルタリングに基づいて、拡散自己蒸留は高品質のペアデータセットを作成し、人間の介入なしに、あらゆるコンテキストであらゆるインスタンスのアイデンティティを維持するカスタム画像生成を可能にします。この手法は、インスタンスごとのチューニング技術に匹敵するアイデンティティの一貫性を維持することに優れており、テスト時の最適化も不要です。

拡散自己蒸留の主な機能

• アイデンティティを保持するカスタム画像生成特定の事例の画像を、それぞれの事例の固有の特性を維持しながら、異なる状況下で生成する。
• ゼロショット学習特定のインスタンスに関するトレーニングデータは必要ありません。事前学習済みのモデルを直接適用してタスクを生成できます。
• 自動データペアリング自己生成データセットと視覚言語モデルの支援に基づいて、高品質なトレーニングデータペアを自動的に作成します。
• 画像から画像への変換入力画像を、照明、スタイル、その他の視覚属性の変更など、特定のテキスト条件に基づいて出力画像に変換する機能をサポートしています。
• 幅広い適用性パーソナライズ、照明調整、深度制御、指示への対応など、テキスト条件に基づく様々な画像生成タスクに適しています。

拡散自己蒸留の技術原理

• 事前学習済みモデルのコンテキスト生成機能画像メッシュは、事前学習済みのテキストから画像への拡散モデルのコンテキスト生成機能に基づいて作成されます。
• データマッチングとフィルタリング視覚言語モデル（VLM）を用いてスクリーニングを支援することで、生成された画像グリッドから大規模かつ高品質なペアリングデータセットが作成される。
• 拡散モデルの微調整事前学習済みのテキストから画像への拡散モデルは、選択されたペアデータセットを使用して微調整され、テキストと画像の組み合わせをサポートする画像生成モデルに変換されました。
• 並列処理アーキテクチャ本論文では、入力画像をビデオシーケンスの最初のフレームとして扱い、2つのビデオフレームを出力として生成する並列処理アーキテクチャを提案する。最初のフレームは入力画像を再構成し、2番目のフレームは編集後の出力となることで、効率的な情報交換を実現する。
• 情報交換と編集2つのビデオフレーム間で同一性マッピングと条件付き編集目標を設定することで、モデルが複雑な意味を捉え、複雑な編集を実行できるようにする。

拡散自己蒸留プロジェクトの住所

• プロジェクト公式サイト：primecai.github.io/dsd
• arXiv技術論文：https://arxiv.org/pdf/2411.18616

拡散自己蒸留の応用シナリオ

• 芸術創作アーティストは、作品内の登場人物や対象物の一貫性を保ちながら、さまざまなスタイルや文脈で作品を制作する。
• ゲーム開発ゲームデザインにおいて、これは、さまざまなゲームシナリオに適応するために、一貫した特徴を持つゲームキャラクターやアイテムの複数のバリエーションを迅速に生成することを意味します。
• 映画およびアニメーション制作映画制作者は、異なるシーン間で登場人物の描写に一貫性を持たせたり、照明条件を変えてシーンを再撮影したりする。
• 広告とマーケティングマーケターは、様々な広告媒体においてブランドイメージの一貫性を保つために、広告画像をカスタマイズします。
• パーソナライズされた製品ユーザーがアップロードした画像に基づいて、カスタマイズされたTシャツ、マグカップ、スマホケースなどのパーソナライズされた製品を生成し、同時にブランド要素の一貫性を維持する。