Add-it - NVIDIAがトレーニング不要の画像編集技術を発表

Add-itとは何ですか？

Add-itは、NVIDIAが開発したトレーニング不要の画像編集技術で、テキストによる指示に基づいて画像にオブジェクトを追加します。この技術は、拡張拡散モデルに基づくアテンションメカニズムを利用し、シーン画像、テキストプロンプト、および生成画像からの情報を統合することで、構造的な一貫性と自然なオブジェクト配置を実現します。Add-itは、実画像と生成画像の両方における挿入ベンチマークで非常に優れた性能を発揮し、教師あり学習手法を凌駕するだけでなく、80%以上のケースで人間からの評価も高いことが証明されています。

Add-itの主な機能

• オブジェクト挿入テキストによる指示に基づいて、画像に新しいオブジェクトをシームレスに挿入します。
• 構造保持新しいオブジェクトを追加しながらも、元のシーンの構造的な一貫性を維持する。
• 自然統合新しいオブジェクトが既存のシーンに自然に溶け込み、調和のとれた外観になるようにしてください。
• 研修は不要ですタスク固有の微調整やトレーニングは不要です。
• 優れた性能このシステムは、新たに構築された「アフォーダンス追加ベンチマーク」を含む複数のベンチマークにおいて、最先端の結果を達成しました。
• 段階的な生成段階的に画像を生成でき、最終画像は各段階におけるユーザーの好みに合わせてより適切に調整されます。
• 非現実的な画像処理非現実的な画像（漫画やアートスタイルなど）も処理できます。

Add-itの技術原理

• 構造伝達シーンの一貫性を維持するために、ソース画像の構造をターゲット画像に注入する。
• 拡張された自己注意ブロック拡張された自己注意機構により、ターゲット画像はテキストプロンプトとソース画像から重要な情報を抽出することができ、各ソースに個別に重み付けを行うことで、より正確なオブジェクト配置を実現します。
• テーマに基づいた潜在的な組み合わせテーマに基づいた合成技術は、テクスチャや影といった元の画像の細部を保持し、新しいオブジェクトがシーンに自然に溶け込むようにします。
• 重み付け拡張注意メカニズム重み付けメカニズムに基づいて、異なる情報源からの情報が統合される際に適切に考慮されるようにすることで、より自然なオブジェクト配置を実現します。
• 追加のトレーニングは不要です。事前学習済みの拡散モデルを使用すれば、追加の学習手順なしに高品質な画像編集を実現できます。

Add-itプロジェクトのアドレス

• プロジェクト公式サイト：research.nvidia.com/labs/par/addit
• GitHubリポジトリ：https://github.com/NVlabs/addit
• arXiv技術論文：https://arxiv.org/pdf/2411.07232

Add-itの応用事例

• 広告とマーケティング広告画像に商品やブランドの要素を追加することで、より魅力的な広告素材を作成できます。
• コンテンツ作成アーティストやデザイナーは、想像上の物体や場面を既存の作品に素早く取り入れる。
• 映画およびゲーム制作映画やゲームの背景に仮想キャラクターやオブジェクトを追加することで、視覚効果を高めることができます。
• ニュースメディアニュース報道において、画像内の特定の要素を追加または置き換える。
• ソーシャルメディアソーシャルメディア上でユーザーが共有する画像にテキストによる説明を追加することで、インタラクティブ性と楽しさが向上します。