project
CreatiLayout - 復旦大学とByteDanceが共同で革新的なレイアウトから画像生成技術を発表
CreatiLayoutは、復旦大学とByteDanceが共同で提案した革新的なレイアウト・トゥ・イメージ（L2I）技術です。270万枚の画像を含む大規模レイアウトデータセットLayoutSAMを活用しています。
CreatiLayoutとは何ですか？
CreatiLayoutは、復旦大学とByteDanceが共同で提案した革新的なレイアウト・トゥ・イメージ（L2I）技術です。270万組の画像とテキストのペア、そして色、形状、質感などの属性の詳細な説明を含む1070万件のエンティティ注釈を収録した大規模レイアウトデータセットLayoutSAMを活用しています。CreatiLayoutの中核は、レイアウト情報を独立したモダリティとして扱うSiamLayoutフレームワークにあります。MM-DiTのネイティブMM-Attentionにより、レイアウトと画像のモダリティ間の相互作用を促進し、モダリティ競合問題を効果的に解決します。さらに、CreatiLayoutは、大規模な言語モデルを使用してユーザーがレイアウトを生成および最適化するのを支援するLayoutDesignerを導入しており、中心点、マスク、スケッチ、テキスト説明など、複数の入力方法をサポートしています。
CreatiLayoutの主な機能
- 高品質な画像生成CreatiLayoutは、シャムマルチモーダル拡散トランスフォーマーをベースに、高品質できめ細やかな画像を生成できます。色、質感、形状といった複雑な属性を正確にレンダリングすることが可能です。
- レイアウト生成と最適化LayoutDesignerを使用すると、CreatiLayoutは中心点、マスク、スケッチ、テキスト説明など、さまざまなユーザー入力に基づいてレイアウトを生成および最適化できます。これにより、ユーザーはデザイン意図をより柔軟に表現し、調和のとれた美しいレイアウトを作成できます。
- 大規模データセットのサポートCreatiLayoutは、LayoutSAMと呼ばれる大規模なレイアウトデータセットを構築しました。このデータセットには、270万組の画像とテキストのペア、および1070万件のエンティティ注釈が含まれています。各エンティティは、色、形状、質感などの属性で詳細に記述されており、モデルに豊富なデータサポートを提供します。
- マルチモーダルな相互作用モデルアーキテクチャの観点から見ると、CreatiLayoutはレイアウト情報を独立したモダリティとして扱い、MM-DiTのMM-Attentionを通してレイアウトと画像モダリティ間の相互作用を実現しています。
CreatiLayoutの技術原則
- ツインマルチモーダル拡散コンバーターCreatiLayoutはこのトランスフォーマーを使用して、高品質できめ細やかな画像生成を実現します。画像、テキスト、レイアウト情報など、マルチモーダルデータを効率的に処理できます。
- SiamLayoutフレームワークこのフレームワークは、レイアウト情報をテキストや画像といったモダリティと同等に重要な独立したモダリティとして扱います。MM-DiTのネイティブなMM-Attentionを活用することで、レイアウトと画像モダリティ間の相互作用を促進し、モダリティ間の競合を軽減し、レイアウトのガイダンス機能を強化します。具体的には、画像、テキスト、レイアウトの各モダリティ間の相互作用は、画像とテキストの相互作用ブランチと画像とレイアウトの相互作用ブランチという2つのブランチに分離されます。これにより、画像コンテンツに対するテキストとレイアウトのガイダンスが独立しており、互いに干渉しないことが保証されます。
- LayoutDesigner大規模な言語モデルに基づいてレイアウトの計画と最適化を行い、中心点、マスク、スケッチ、テキスト記述など、さまざまな入力方法を通じてユーザーがレイアウトを生成および最適化することをサポートします。
CreatiLayoutのプロジェクトアドレス
- プロジェクト公式サイト：https://creatilayout.github.io
- GitHubリポジトリ：https://github.com/HuiZhang0812/CreatiLayout
- arXiv技術論文：https://arxiv.org/pdf/2412.03859
- オンラインでデモを体験してください：https://huggingface.co/spaces/HuiZhang0812/CreatiLayout
CreatiLayoutの応用事例
- プロモーション用ポスターの制作デザイナーはCreatiLayoutを使用することで、期待通りの高品質な販促ポスターを迅速に作成できます。
- 家具配置の最適化CreatiLayoutは、各家具の位置とサイズを正確に分析し、リアルなインテリアレンダリングを生成できます。
- 視覚効果制作これにより、開発者は新しい視覚効果やスタイルを探求し、レイアウトや画像の詳細を正確に制御することで、より創造的で魅力的なゲームビジュアルを作成することができます。
- 教材制作教師はCreatiLayoutを使って、知識の要点を視覚的に魅力的な方法で提示することができます。