DreamO - ByteDanceと北京大学が共同開発したカスタム画像生成フレームワーク

DreamOとは何ですか？

DreamOは、ByteDanceのクリエイティブチームと北京大学深圳大学院電子・コンピュータ工学部が共同開発した、カスタマイズ可能な画像生成のための統合フレームワークです。事前学習済みのDiffusion Transformer（DiT）モデルをベースとしており、様々な画像生成タスクに対して柔軟なカスタマイズを可能にします。DreamOは、アイデンティティ、被写体、スタイル、背景といった複数の条件をシームレスに統合し、特徴ルーティング制約とプレースホルダー戦略に基づいて、生成結果の一貫性と条件分離機能を向上させます。DreamOは段階的なトレーニング戦略を採用することで、複雑なタスクにおいても効率的なモデル収束と高品質な生成を実現します。このフレームワークは、仮想試着、スタイル転送、被写体駆動型生成といったシナリオに幅広く適用可能で、画像生成のための強力なカスタマイズ機能を提供します。

DreamOの主な機能

• 複数条件の統合アイデンティティ、被写体、スタイル、背景など、さまざまな条件のカスタマイズをサポートし、これらの条件を画像生成にシームレスに統合します。
• 高品質な生成段階的なトレーニング戦略に基づき、高品質な画像生成を保証するとともに、低品質データによって生じるバイアスを補正します。
• 柔軟な状態制御これにより、ユーザーは生成された画像内の条件の位置とレイアウトを正確に制御できます。
• 幅広い適用性複雑な複数条件シナリオの処理をサポートし、仮想試着、スタイル転送、被写体駆動型生成など、さまざまな画像生成タスクに適しています。

DreamOの技術原則

• 拡散変換器（DiT）フレームワークコアアーキテクチャは、拡散変換器を用いて、テキスト、画像、条件など、さまざまな種類の入力を統一的に処理することで、画像のカスタマイズを実現します。拡散モデルは、ノイズを段階的に除去することで画像を生成し、変換器アーキテクチャは、入力条件に対するモデルの理解力と処理能力を向上させます。
• 機能ルーティングの制約生成結果と参照画像との一貫性を向上させるため、特徴ルーティング制約が導入されます。これらの制約は、条件付き画像と生成画像の関係を最適化するアテンションメカニズムに基づいており、生成画像内の特定領域が条件付き画像に対応するようにし、条件間の結合を回避します。
• プレースホルダー戦略テキストの説明にプレースホルダー（[ref#1]など）を追加することで、条件付き画像がテキストの説明内の特定のオブジェクトに関連付けられ、生成される画像内の条件付き位置を正確に制御できるようになります。
• 段階的トレーニング戦略このアプローチでは、初期段階（単純なタスク）、本格的なトレーニング段階（複数のタスク）、および品質調整段階（バイアスの修正）を含む段階的なトレーニング方法を採用しています。これにより、複雑なデータ分布下でもモデルがスムーズに収束し、高品質な生成を維持できます。
• 大規模なトレーニングデータ幅広い汎化能力を実現するために、様々なタスク（アイデンティティのカスタマイズ、主題主導型、仮想試着、スタイル転送など）を網羅する大規模なトレーニングデータセットを構築し、モデルが様々な条件下で生成能力を学習できるようにします。

DreamOのプロジェクトアドレス

• プロジェクト公式サイト：https://mc-e.github.io/project/DreamO/
• GitHubリポジトリ：https://github.com/bytedance/DreamO
• arXiv技術論文：https://arxiv.org/pdf/2504.16915

DreamOの応用事例

• バーチャル試着ユーザーは自分の写真や服の画像をアップロードして、試着効果を生成できます。
• スタイル転送普通の写真を芸術的な画像に変換したり、デザインスケッチに基づいてさまざまなスタイルの視覚効果を生成したりできるため、芸術作品の制作やデザインのインスピレーションの探求に適しています。
• 主題主導型生成ユーザーがアップロードした写真に基づいて、パーソナライズされたアバターや仮想キャラクターを生成し、複数被写体の合成にも対応しており、ソーシャルメディア、ゲーム、アニメーション制作などに利用できます。
• アイデンティティのカスタマイズ特定のキャラクター画像を含む画像を生成し、アイデンティティの特徴の保持と融合をサポートし、仮想空間での社会的交流やパーソナライズされたコンテンツ作成に適しています。
• クリエイティブコンテンツの生成テキストの説明と条件付き画像に基づいて、クリエイティブな広告、映画やテレビの特殊効果、教育シーンの画像などを生成し、クリエイティブなニーズを満たすためのさまざまな複雑なカスタマイズ作業をサポートします。