3DIS-FLUX - 浙江大学とハーバード大学が共同開発したマルチインスタンス生成フレームワーク - AiBoss

3DIS-FLUXとは何ですか？

3DIS-FLUXは、インスタンス合成を分離することで高品質な画像生成を実現する、深層学習ベースのマルチインスタンス生成フレームワークです。3DISフレームワークの深度駆動型シーン構築とFLUXモデルの拡散トランスフォーマーアーキテクチャを組み合わせ、2段階で動作します。まずシーン深度マップを生成し、次にFLUXモデルに基づいて詳細レンダリングを実行します。アテンションメカニズム制御により、各インスタンスの画像トークンが対応するテキストトークンのみに焦点を当てるようにすることで、正確なインスタンスレンダリングを実現します。3DIS-FLUXは、事前学習済みモデルに対する追加のトレーニングを必要とせず、強力な生成能力を維持しながら、インスタンス成功率と画像品質の面で従来の手法を大幅に上回ります。

3DIS-FLUXの主な機能

ディープラーニングによるシーン構築3DIS-FLUXは、マルチインスタンス生成を2つの段階に分けています。まず、深度モデルを配置することでシーン深度マップを生成し、これは正確なインスタンス配置とシーンレイアウトに使用されます。
詳細レンダリングと属性制御第2段階では、3DIS-FLUXはFLUX.1-Depth-devモデルを使用して詳細なレンダリングを行います。詳細なレンダラーを導入することで、レイアウト情報に基づいてFLUXのジョイントアテンションメカニズムのアテンションマスクを操作し、各インスタンスのきめ細かい属性（色、形状など）が正確にレンダリングされるようにします。
追加のトレーニングは不要です。このフレームワークは、シーン構築フェーズ中にアダプターのトレーニングのみを必要とし、詳細レンダリングフェーズ中に事前学習済みモデルの追加トレーニングを必要としないため、リソース消費量を大幅に削減できます。
パフォーマンスと品質の向上実験結果によると、3DIS-FLUXは、インスタンスの成功率と画像品質の点で、SD2およびSDXLに基づく3DISフレームワークなどの従来の手法や、現在の最先端のアダプタ手法よりも優れていることが示されています。
柔軟性と互換性3DIS-FLUXは、様々な事前学習済みモデルと互換性があり、既存の生成型AIシステムにシームレスに統合できます。

3DIS-FLUXの技術原理

2段階生成プロセス
- シーン構築フェーズこの段階では、レイアウトから深度への変換モデルを使用して、ユーザーが提供するレイアウト情報に基づいてシーン深度マップを生成します。シーンレイアウトがユーザー定義のインスタンス位置と一致するように、アダプタのトレーニングが必要です。
- 詳細描写段階この段階では、FLUX.1-Depth-devモデルを使用して深度マップに基づいた高品質のRGB画像を生成します。この段階では追加のトレーニングは不要で、事前学習済みのFLUXモデルがレンダリングに直接使用されます。
FLUXモデルの統合FLUXは、拡散変換（DiT）をベースとした高度なモデルであり、強力なテキスト制御と高品質な画像生成を実現します。詳細レンダリング段階では、3DIS-FLUXはFLUXモデルのジョイントアテンション機構によって画像とテキストの埋め込みを整列させ、アテンションマスクによって各インスタンスの画像トークンが対応するテキストトークンのみに焦点を当てるようにします。
注意機構の最適化インスタンスの細かい属性のレンダリング精度をさらに向上させるために、3DIS-FLUXはディテールレンダラーを導入し、FLUXモデルのジョイントアテンションメカニズムにおけるアテンションマスクを操作することで、各インスタンスのレンダリング精度を保証します。

3DIS-FLUXプロジェクトの住所

arXiv技術論文：https://arxiv.org/pdf/2501.05131

3DIS-FLUXの応用シナリオ

Eコマースのデザインとポスター制作3DIS-FLUXは、高品質なECサイトの商品画像やポスターデザインの生成に利用できます。複数のインスタンスのレイアウトとプロパティを定義することで、複数の商品を含むシーン画像を迅速に生成でき、ECサイトデザインにおける商品表示や視覚効果に対する高い要求を満たします。
クリエイティブデザインと芸術的創造このソフトウェアは、創造的なデザインと芸術制作を支援し、自然風景、都市景観、肖像画など、詳細な属性を持つ複数のインスタンスからなる画像を生成します。ユーザーは、テキストによる説明とレイアウト定義を通して、創造的なニーズを満たす複雑なシーンを作成できます。
仮想シーンの構築3DIS-FLUXは、ゲームの背景やバーチャル展示会などの仮想シーンの構築に使用できます。深度マップとディテールレンダリングを組み合わせることで、空間感とリアリティのあるマルチインスタンス画像を生成し、仮想シーンにおけるオブジェクトの配置やディテールに関する厳密な要求を満たします。
広告およびマーケティングコンテンツの作成広告・マーケティング分野において、3DIS-FLUXは広告ポスターや販促画像など、複数の要素を含むビジュアルコンテンツを迅速に生成することができます。