EliGen - 浙江大学とアリババが共同で発表した、エンティティレベルで制御可能な新しい画像生成フレームワーク。 - AiBoss

EliGenとは何ですか？

EliGenは、浙江大学とアリババグループが共同開発した、エンティティレベルで制御可能な新しい画像生成フレームワークです。領域アテンション機構を導入することで、追加のパラメータなしで、任意の形状のエンティティキューと空間マスクを拡散トランスフォーマーにシームレスに統合できます。EliGenには、堅牢かつ正確なエンティティレベルの操作を実現するためのモデルトレーニング用に、50万点の高品質なアノテーション付きサンプルデータセットが含まれています。EliGenは、複数のエンティティを含む画像復元タスクにも拡張可能な復元融合パイプラインを提案しています。

EliGenの主な機能

物理的な精密制御EliGenは、その領域注意機構を通じて、画像内の各要素の位置、形状、意味属性などを正確に制御することができます。
複数エンティティの画像復元EliGenは、複数のエンティティを含む画像修復タスクを可能にする修復融合パイプラインを提案する。領域アテンション機構を用いることで、単一の順方向パスで複数のエンティティを修復できる。
様式化されたエンティティ制御IPアダプターと組み合わせることで、EliGenは参照画像のスタイルに基づいてターゲット画像を生成し、様式化されたエンティティ制御を可能にする。
インタラクティブな画像デザインと編集EliGenはMLLM（マルチモーダル言語モデル）と統合することで、対話に基づいた画像デザインと編集を行うことができ、ユーザーはテキストによる説明を通して画像を生成または変更することが可能になります。
コミュニティモデルとの統合EliGenは、IPアダプター、インコンテキストLoRA、MLLMなどのオープンソースモデルとシームレスに統合でき、新たな創造的可能性を切り開きます。これにより、様式化されたエンティティ制御、エンティティ転送、対話型画像デザインおよび編集が可能になります。
高い一般化能力EliGenは、異なる乱数シード、絶えず変化するエンティティの位置、および不合理な位置入力の下でも優れた汎化能力を維持し、高品質で準拠した画像を生成します。

EliGenの技術原則

局所的注意機構EliGenは、領域注意機構を導入し、拡散変換器（DiT）の注意モジュールを拡張して、任意の形状のエンティティマスクを処理できるようにします。EliGenは、グローバルおよびローカルのキュー埋め込みを組み合わせて拡張キューシーケンスを形成し、空間条件に基づいて、エンティティ潜在マスク、エンティティ間マスク、およびエンティティ内マスクを含む共同注意マスクを構築します。追加のパラメータは不要なため、トレーニング前にエンティティの詳細を変更できます。
高品質なデータセットの構築EliGenを訓練するために、研究者らは50万個の高品質な注釈付きサンプルを含むデータセットを構築した。これらのサンプルはFluxを用いて画像として生成され、Qwen2-VL視覚言語モデルに基づいたグローバルな手がかりとエンティティ情報の注釈が付与されている。この高品質なデータセットにより、エンティティレベルの操作におけるモデルの堅牢性と精度が保証される。
トレーニングと微調整EliGenは、効率的な微調整のためにLoRA（低ランク適応）手法を採用し、モデルの迅速な収束を保証します。LoRA重みは、アテンション層の射影層や適応型LayerNorm内の線形層など、DiTの各ブロックの線形層に適用されます。
溶接パイプの修理EliGenは、複数エンティティの画像修復タスク向けに、修復融合パイプラインを提案する。このパイプラインは、領域ベースのノイズ融合処理を通して、修復されていない領域の品質を維持しながら、単一の順方向パスで複数のエンティティを修復することを可能にする。

EliGenのプロジェクトアドレス

arXiv技術論文：https://arxiv.org/pdf/2501.01097

EliGenの応用事例

仮想シーン生成EliGenは高品質な仮想シーンを生成でき、任意の形状のマスクによるエンティティ制御をサポートしているため、仮想現実におけるシーンデザインやゲーム開発に適しています。
キャラクターおよび小道具のデザインユーザーはキャラクターや小道具の位置、形状、スタイルを正確に制御できるため、仮想世界におけるキャラクターや小道具のデザインに強力なツールを利用できます。
大規模カスタムデータ合成EliGenは任意の形状のマスクを制御できるため、データ拡張や機械学習タスクに適した大規模なカスタマイズデータを効率的に生成できます。
製品の展示とプロモーションEliGenは、広告や製品デザインのニーズを満たすために、正確なエンティティ制御とスタイリッシュなデザインをサポートし、高品質な製品表示画像を生成できます。