DCEdit - 北京交通大学と美図が共同開発した、二層構造の制御機能を備えた画像編集手法。

DCEditとは何ですか？

DCEditは、北京交通大学とMeitu 2MT Labが共同開発した、斬新な2層制御画像編集手法です。精密意味局所化（PSL）戦略に基づき、DCEditは視覚的およびテキスト的自己注意を用いてクロスアテンションマップを最適化し、画像編集をガイドするためのより正確な領域キューを提供します。DCEditは、特徴層と潜在空間層に領域キューを同時に組み込む2層制御メカニズム（DLC）を導入し、よりきめ細やかな編集制御を実現します。DCEditは追加のトレーニングや微調整を必要とせず、既存の拡散変換器（DiT）ベースの編集手法に適用した場合、背景の保持と編集精度において優れた性能を発揮します。

DCEditの主な機能

• 正確な意味的位置付け背景やその他の未編集領域の詳細を保持しながら、画像内で編集が必要な意味領域を正確に特定します。
• 2層制御機構特徴層と潜在空間層の両方に地域的な手がかりを組み込むことで、編集プロセスをきめ細かく制御することが可能になり、編集効果を向上させることができる。
• 複雑な画像編集に対応高解像度で複雑な背景を持つ実写画像に適しており、色の変更、オブジェクトの置換、オブジェクトの追加や削除など、さまざまな編集作業をサポートします。

DCEditの技術的原則

• 精密意味ロケーター（PSL）このアプローチでは、視覚的自己注意とテキスト的自己注意を組み合わせて、クロスアテンションマップを最適化します。視覚的自己注意行列は画像内の類似性関係を捉え、テキスト的自己注意行列は意味的な絡み合いを分離します。視覚的自己注意行列の重み付けとテキスト的自己注意行列の逆演算に基づいて、クロスアテンションマップはターゲットとなる意味領域をより正確に反映するように最適化されます。最適化されたクロスアテンションマップは領域の手がかりとして機能し、編集プロセスをガイドし、編集効果がターゲット領域に集中するようにします。
• 二層制御機構（DLC）特徴層では、ソフト融合メカニズムに基づき、最適化されたクロスアテンションマップが編集テキストによって活性化された特徴を選択的に保持し、直接的な特徴置換による編集効果の損失を回避します。潜在空間層では、拡散融合法に基づき、二値化されたクロスアテンションマップが背景情報を保持し、背景領域が誤って編集されるのを防ぎます。反転処理では、ソース画像を初期ノイズにマッピングし、サンプリング中に2層制御メカニズムを適用して編集画像を生成します。
• RW-800 スタンダード高解像度の実写画像を使用することで、テストデータの多様性と複雑性を確保します。また、複雑な編集作業をサポートするために、詳細なテキスト説明を提供します。

DCEditプロジェクトのアドレス

• arXiv技術論文：https://arxiv.org/pdf/2503.16795

DCEditの応用シナリオ

• 広告とマーケティング広告画像内の要素（色、背景、ロゴなど）を迅速に変更することで、制作効率を向上させる。
• 映画とエンターテイメントこれにより、映画やテレビのシーンにおける小道具、衣装、背景の調整が容易になり、時間とコストを節約できます。
• ソーシャルメディアとコンテンツ制作テーマに合わせて画像を素早く変更することで、コンテンツの魅力と多様性を高めることができます。
• 製品設計および開発様々な製品設計案を迅速に生成し、開発プロセスを加速させることができる。
• 教育と訓練生徒が授業内容をより深く理解できるよう、個々の生徒に合わせた学習教材を作成する。