InstanceAssemble - 暁紅樹と復旦大学が共同で立ち上げた画像生成フレームワーク - AiBoss

InstanceAssembleとは何ですか？

InstanceAssembleは、Xiaohongshuと復旦大学が共同開発した軽量レイアウトから画像生成へのフレームワークです。革新的な「インスタンスアセンブリアテンション」メカニズムにより、シンプルなレイアウトから複雑なレイアウト、疎なレイアウトから密なレイアウトまで、正確な画像生成を実現します。ユーザーはオブジェクトのバウンディングボックスの位置とコンテンツの説明を提供するだけで、AIが対応する場所に意味的に正しい画像を生成できます。InstanceAssembleは拡散トランスフォーマーアーキテクチャに基づいており、軽量な適応方法を採用しているため、主流モデルへの適応に必要な追加パラメータはわずかで済み、参入障壁を大幅に低減します。

InstanceAssembleの主な機能

正確なレイアウト制御AIは、各オブジェクトの位置（境界ボックス）と内容の説明を指定することで、対応する位置に意味的に正しい画像コンテンツを生成できる。
シンプルなものから複雑なものまで、レイアウト生成を行います。InstanceAssembleは、単純なオブジェクトから複雑で密度の高いシーンまで、あらゆる場面において高精度なレイアウトの整列と意味的な一貫性を維持できます。
マルチモーダルコンテンツ制御テキスト記述、参照画像、深度マップ、エッジマップなど、複数のモダリティを通じて各インスタンスの内容を定義することをサポートし、生成される画像の精度と詳細度をさらに向上させます。
軽量アダプターこの手法は、モデル全体を再学習することなく、少数の追加パラメータ（例えば、安定拡散3媒体モデルへの適応に必要な追加パラメータの約3.46%のみ）を使用するだけで、さまざまな主流の拡散モデルに適応できるため、参入障壁が低くなります。
高い一般化能力トレーニング時には、疎なレイアウト（10インスタンス以下）のみを使用します。これにより、密なレイアウト（10インスタンス以上）でも安定したパフォーマンスを維持し、さまざまな複雑さのレイアウト条件に適応できます。

InstanceAssembleの技術的原理

拡散モデルの基礎InstanceAssembleは、現在の主流の拡散トランスフォーマーアーキテクチャ（マルチモーダル拡散トランスフォーマー、MMDiTなど）に基づいており、拡散モデルの強力な生成能力を利用して、段階的なノイズ除去プロセスを通じて高品質の画像を生成します。
インスタンスアセンブリの注意機構：
- レイアウトエンコーダーユーザーが指定したレイアウト条件（境界ボックス、テキストによる説明など）は、インスタンストークンにエンコードされます。各インスタンスに対して、位置情報（DenseSampleによって強化）とコンテンツの説明（テキストまたはビジュアルコンテンツ）を組み合わせることで、対応するインスタンストークンが生成されます。
- アテンションモジュールの組み立て（Assemble-Attn）生成プロセスにおいて、画像トークンはインスタンストークンと相互作用します。各インスタンスでは、境界ボックス内の画像領域のみが考慮され、アテンションメカニズムによって領域の特徴が更新されます。更新された特徴は、重み付けアセンブリによって全体の画像に融合され、各インスタンスのレイアウトと意味の一貫性が確保されます。
- カスケード構造このシステムはカスケード方式を採用しており、基本的なMMDiTモデルを使用してグローバルなテキストプロンプトと画像の特徴を処理し、次にAssemble-MMDiTモジュールを使用してインスタンスのレイアウト条件を処理することで、グローバルな生成品質を維持しながら正確なレイアウト制御を実現します。
軽量アダプター（LoRa）InstanceAssembleは、既存の拡散モデルに効率的に適応するために、低ランク適応（LoRA）技術を採用しています。この技術では、アテンションモジュールに少数の学習可能なパラメータ（低ランク行列など）のみを導入することで、基本モデルの機能を変更することなくレイアウト制御を実現します。
評価とベンチマークレイアウトと画像の適合度をより正確に測定するために、InstanceAssembleは「レイアウトグラウンディングスコア」（LGS）という評価指標を提案し、複雑なレイアウト条件下での生成性能を評価するために、5,000枚の画像と90,000個のインスタンスを含む「DenseLayout」ベンチマークセットを作成しました。

InstanceAssembleのプロジェクトアドレス

GitHubリポジトリ：https://github.com/FireRedTeam/InstanceAssemble
arXiv技術論文：https://arxiv.org/pdf/2509.16691

InstanceAssembleの応用シナリオ

デザインと広告これは、デザイナーや広告会社が、特定のレイアウトやスタイルに準拠したデザインスケッチや広告画像を迅速に作成し、要素の位置や内容を正確に制御するのに役立ちます。
コンテンツ作成このツールは、コンテンツ制作者向けに、ソーシャルメディア、動画制作などに対応した高品質な画像生成ツールを提供し、コンテンツの魅力とプロフェッショナリズムを高めます。
ゲーム開発このフレームワークは、ゲームシーンやキャラクターの装備配置を迅速に生成できるため、ゲーム開発者がリアルな背景やレベルを効率的に設計するのに役立ちます。
教育と訓練このフレームワークは、教材や仮想実験室のシナリオを生成することができ、教師がより直感的に知識を伝え、教育効果を高めるのに役立ちます。
建築設計インテリアデザイナーや建築家が、室内空間や建物の外観のレイアウト図面やレンダリングを作成するのを支援し、設計案を最適化します。