PartEdit - KAUSTが開発した、きめ細かな画像編集手法 - AiBoss

PartEditとは何ですか？

KAUSTが開発したPartEditは、事前学習済みの拡散モデルに基づいた、きめ細やかな画像編集手法です。PartEditは、特定のテキストマーカー（「パーツマーカー」と呼ばれる）を最適化することで、拡散モデルが画像内のオブジェクトの個々の部分を正確に特定し、編集できるようにします。これらのパーツマーカーは、オブジェクトのパーツに対応する非バイナリマスクを学習し、各拡散ステップで編集可能な領域を特定します。特徴融合と適応型閾値処理戦略を組み合わせることで、編集されたコンテンツをシームレスに統合しつつ、未編集領域を保持します。PartEditは、モデルの再学習を必要とせずに、高品質な編集結果を実現します。PartEditは、リアルな画像編集と複数パーツの同時編集をサポートし、クリエイターに正確かつ創造的な画像修正のための強力なツールを提供します。

PartEditの主な機能

オブジェクトセクションを正確に特定して編集しますこれにより、画像内のオブジェクトのさまざまな部分（頭部、胴体、フードなど）を正確に配置および編集することができ、ユーザーが指定したとおりにきめ細かな修正が可能になります。
編集コンテンツのシームレスな統合最適化された非二値マスキングと適応型閾値処理戦略に基づき、編集されたコンテンツは元の画像とシームレスに統合され、編集領域における急激な変化を回避します。
高品質な視覚効果生成された編集画像は、高い視覚品質を持ち、編集されていない部分の元のディテールを保持し、編集された部分が画像全体のスタイルと一貫していることを保証します。
複数の編集タイプに対応これにより、セマンティック編集（オブジェクトの一部を置き換えるなど）やスタイル調整（色や素材などを変更するなど）が可能になり、従来の方法では実現が難しい複雑な概念を生成することができます。
リアルな画像編集画像反転技術を組み合わせることで、合成画像だけでなく実写写真の編集も可能になります。
複数パート同時編集モデルを再学習させることなく、推論中に複数の部分を同時に編集できるため、編集効率が向上します。

PartEditの技術的原則

事前学習済み拡散モデルこの手法は、事前学習済みの拡散モデル（SDXLなど）の強力な生成能力を活用し、逆拡散プロセスによって画像を生成します。拡散モデルは、テキストプロンプトに導かれながら、ノイズを段階的に除去することで画像を生成します。
パーツトークン特定のテキストマークアップモデルを拡張することで、オブジェクト部分の理解を最適化します。これらのマークは、拡散プロセスの各ステップで信頼性の高い非バイナリマスクを生成し、編集領域を特定するために使用されます。
最適化プロセスバイナリクロスエントロピー（BCE）損失関数と、少量のラベル付きデータ（PASCAL-PartやPartImageNetなど）を組み合わせることで、部分的なラベル付けを最適化し、異なるUNetブロックおよびタイムステップにおけるオブジェクト部分に対応するアテンションマップを生成します。
特徴融合と適応型閾値処理戦略拡散処理の各時間ステップおよび各UNet層において、ソース画像の特徴は、非バイナリマスクに基づいて編集済み画像の特徴とブレンドされます。編集済み領域と未編集領域間の遷移を滑らかにするために適応型閾値処理戦略が用いられ、自然な編集効果が保証されます。
時間ステップの選択このアルゴリズムは、異なる時間ステップにおける画像生成状態を分析し、中間時間ステップを選択して大きな部分の位置特定を最適化し、中間時間ステップと後の時間ステップを組み合わせて小さな部分の位置特定効果を最大限に高めます。
実像反転実画像編集の場合、画像反転技術（Ledits++やEF-DDPMなど）を組み合わせて実画像の拡散軌跡を推定し、それを編集のソースパスとして使用します。

PartEditプロジェクトのアドレス

プロジェクト公式サイト：https://partedit.github.io/PartEdit/
arXiv技術論文：https://arxiv.org/pdf/2502.04050

PartEditの応用シナリオ

芸術的な創造とデザインそれは、アーティストやデザイナーが創造的なアイデアを迅速に実現するのに役立ちます。
映画およびゲーム制作映画、テレビ、ゲームなどの視覚効果制作において、キャラクターの外見やシーンの要素を迅速に変更することを可能にする。
広告デザイン広告デザイナーは、製品広告のための様々な視覚効果を迅速に生成することができる。
仮想現実（VR）と拡張現実（AR）VRやARアプリケーションでは、仮想環境内のオブジェクトをリアルタイムで変更できる。
教育業界教育分野では、生徒が複雑な概念をよりよく理解できるよう、教材を作成しています。