MultiBooth - 清華大学、Meta、その他の機関が共同開発した、複数のコンセプトに基づく画像生成手法。 - AiBoss

MultiBoothとは何ですか？

MultiBoothは、清華大学深圳国際大学院、Meta、香港科技大学などの機関が開発した、複数の概念を含む画像生成手法です。テキストから、ユーザーが指定した複数の概念を含む画像を生成できます。MultiBoothは、生成プロセスを単一概念学習と複数概念統合の2つの段階に分けています。単一概念学習段階では、マルチモーダル画像エンコーダと適応型概念正規化技術に基づき、各概念に対して簡潔かつ識別力の高い埋め込み表現を学習します。概念の忠実度を高めるためにLoRA技術が用いられます。複数概念統合段階では、領域カスタマイズモジュール（RCM）を用いて、境界ボックスと領域キューに基づいて指定された領域内に各概念を生成し、基本的なキューに基づいて異なる概念間の正確な相互作用を保証します。MultiBoothは、高い画像忠実度とテキストアライメント機能を維持しながら、効率的な複数概念画像生成を実現し、学習段階と推論段階の両方で低コストを実現しています。

MultiBoothの主な機能

マルチコンセプト画像生成ユーザーが入力したテキストに基づいて、指定された複数の概念を含む画像を生成します。
高精度とテキストの配置生成された画像は非常に忠実で、各概念の詳細な特徴を明確に表示し、テキストプロンプトと高度に整合しているため、画像の内容がユーザーの意図と一致することが保証されます。
効率的な推論複数の概念を生成する過程において、推論コストは低く、概念数の増加に伴って推論時間が大幅に増加しないため、複数の概念イメージの生成がより効率的になる。
プラグイン生成このシステムは、異なる単一概念モジュールをプラグイン方式で組み合わせることで、概念の組み合わせごとにモデルを再学習することなく、複数の概念からなる画像を生成できるため、モデルの柔軟性と拡張性が向上します。

MultiBoothの技術的原理

単一概念学習段階：
- マルチモーダル画像エンコーダーQFormerエンコーダーを使用し、入力画像と概念名（「犬」など）に基づいて、自己注意層と相互注意層の相互作用により、テキストに合わせたカスタマイズされた埋め込み表現を生成し、各概念に対して簡潔かつ識別力の高い埋め込み表現を学習します。
- 適応型概念正規化（ACN）カスタマイズされた埋め込みのL2ノルムを調整することで、プロンプト内の他の単語埋め込みと比較可能になり、埋め込み空間におけるドメイン間の違いの問題を解決し、複数の概念を生成する能力が向上します。
- 高効率コンセプトコーディング技術LoRA技術は、U-Netのアテンション層の低ランク分解を実行するために使用され、U-Netのファインチューニングによって引き起こされる言語ドリフトを回避し、単一概念学習の概念忠実度を向上させ、追加のパラメータストレージの必要性を低減します。
複数概念統合フェーズ：
- 地域カスタマイズモジュール（RCM）クロスアテンション層では、画像の特徴は、ユーザー定義または自動処理によって得られた境界ボックスと領域キューに基づいて、異なる領域に分割されます。各領域は、対応する単一概念モジュールとキューによって誘導される概念を生成します。基本的なキューに基づいて、異なる領域の概念間の相互作用が保証され、複数の概念が同じ画像内で正確に融合されます。
- 並列生成と相互作用RCMでは、複数の単一概念モジュールを同時に生成することができ、相互注意メカニズムに基づいて概念間の並列的な相互作用が実現されるため、概念融合や推論コストの増加を回避できる。

マルチブースプロジェクトのアドレス

プロジェクト公式サイト：multibooth.github.io
GitHubリポジトリ：https://github.com/chenyangzhu1/MultiBooth
arXiv技術論文：https://arxiv.org/pdf/2404.14239

MultiBoothのアプリケーションシナリオ

エンターテインメントおよびクリエイティブ産業アドベンチャーゲーム向けに、内部機構や壁画などを描写した神秘的な古代の墓のシーン画像を素早く生成し、ゲームの探索要素を豊かにします。
広告とマーケティング化粧品フェイスマスクの広告ポスターを作成する。製品使用後の若い女性の若返った肌をアピールし、製品の有効性とブランドイメージを伝える。
教育と学習中世の城の画像を生成し、塔や城壁の構造を明確に示すことで、学生が城の特徴を理解し、歴史的知識の記憶を深めるのに役立つ。
電子商取引夏のドレスのスタイリング画像を作成し、花柄のドレスと麦わらサンダルや麦わら帽子を組み合わせたコーディネート例を紹介することで、顧客の購買意欲を高める。
科学研究と工学このプロジェクトは、新しいナノ材料構造の概略図を作成し、その超軽量性と高強度特性を示すとともに、科学研究成果の革新性を一般の人々が理解するのに役立つ。