Edicho - Ant Groupと香港科技大学などの大学が共同開発した、複数画像の一貫性編集手法。

Edichoとは何ですか？

香港科技大学、アントグループ、スタンフォード大学、香港中文大学が共同開発したEdichoは、拡散モデルに基づいた画像編集手法であり、複数の画像間で一貫した編集を可能にします。Edichoはトレーニング不要のアプローチを採用しており、適用前に追加のトレーニングは必要ありません。その核心は、明示的な画像対応関係を用いて編集プロセスをガイドすることにあります。注意操作モジュール（Corr-Attention）と分類器誘導型自由分類（CFG）ノイズ除去戦略に基づき、異なる画像間で一貫した編集を実現します。Corr-Attentionは、明示的な対応関係を用いて自己注意機構を強化し、ソース画像からターゲット画像へ特徴を効果的に転送します。修正されたCFG計算に基づき、事前に計算された対応関係と組み合わせたCorr-CFGは、高い画像品質を維持しながら、望ましい編集にさらに近づけるように生成プロセスをガイドします。

Edichoの主な機能

• 一貫性のある画像編集ローカル編集（画像復元など）とグローバル編集（画像スタイル転送など）を含む、複数の画像にわたる一貫した編集を実現し、さまざまなシナリオにおいて編集結果の一貫性を高く維持します。
• プラグアンドプレイ対応推論アルゴリズムとして、ControlNetやBrushNetなどの拡散ベースの編集手法のほとんどとシームレスに互換性があり、追加のトレーニングデータは不要で、実際のタスクに直接適用できます。
• 幅広いタスクへの適用性画像編集に適しているだけでなく、パーソナライズされたコンテンツ作成、3D再構築、一貫したテクスチャ適用など、より多くの分野に拡張できるため、編集ツールの応用範囲が拡大します。

エディチョの技術原則

• 明示的な画像対応ガイダンスこのアプローチでは、明示的な画像対応関係に基づいて編集プロセスをガイドし、従来の暗黙的な対応関係に基づく手法の限界を回避します。入力画像から、事前学習済みの対応関係抽出器（DIFTやDust3Rなど）を用いて堅牢な対応関係を抽出し、その事前計算された明示的な対応関係を拡散モデルのノイズ除去プロセスに注入することで、一貫性のある編集を実現します。
• 注意操作モジュール（Corr-Attention）強化されたアテンションメカニズム：画像間の対応関係に基づいたガイド付き特徴転送。自己アテンションモジュールでは、クエリ特徴が明示的な対応関係に従って変換され、関連する特徴がソース画像から借用されて新しいクエリ行列が形成され、ノイズ除去処理中の編集の一貫性が実現されます。
• 最適化された分類器フリーガイド型（CFG）ノイズ除去戦略（Corr-CFG）事前に計算された対応関係を組み合わせることで、編集プロセス全体を通して高品質と一貫性が維持されます。CFGの計算方法は、対応関係のガイダンスに基づいてCFGフレームワーク内の無条件分岐を操作するように変更され、無条件埋め込み特徴が融合されることで一貫性効果がさらに向上すると同時に、事前学習済みモデルの強力な生成事前情報の整合性が保たれます。

エディチョのプロジェクト住所

• プロジェクト公式サイト：https://ezioby.github.io/edicho
• GitHubリポジトリ：https://github.com/EzioBy/edicho
• arXiv技術論文：https://arxiv.org/pdf/2412.21079

Edichoの応用事例

• プロダクトマーケティングECプラットフォームの販売者は、クリック率とコンバージョン率を向上させるために、さまざまな角度から撮影した商品画像を常に編集している。
• テーマ別アクティビティ：クリスマスシーズン中は、ユーザーは複数の家族写真をクリスマスをテーマにした画像に編集し、ソーシャルメディアで共有して家族や友人と楽しむことができます。
• パーソナライズされたコンテンツ生成ユーザーは、複数の個人写真を自分の好みに合わせて統一感のあるスタイルのプロフィール写真に編集し、さまざまなソーシャルメディアプラットフォームで使用することができます。
• バーチャルリアリティゲーム開発において、デザイナーは仮想キャラクターの複数のデザインスケッチを編集し、一貫性を確保し、キャラクターイメージの整合性と認識性を高める。
• 医療画像データセットの拡張医用画像解析の分野では、医用画像データセット内の画像を一貫して編集することで、医用画像認識モデルの学習効果を向上させることができる。