D-Edit - 画像、テキスト、マスクに基づいた多機能画像編集フレームワーク。 - AiBoss

D-Editとは何ですか？

D-Editは、画像とテキストの両方をベースとした多機能画像編集フレームワークです。事前学習済みの拡散モデルと独自のプロンプトを活用することで、画像内の特定アイテムを正確に制御・編集できます。画像ベースの編集、テキストベースの編集、マスクベースの編集、アイテムの削除など、様々な編集タスクに対応可能です。D-Editは画像を複数のアイテムに分割し、各アイテムに固有のプロンプトを関連付けることで、アイテムを個別に制御できます。プロンプト、マスク、またはアイテムとプロンプトの関連付けを変更することで、多様な編集効果を実現できます。D-Editは、マスク編集に基づくアイテム編集と画像編集・テキスト編集を組み合わせた初のフレームワークです。

D-Editの主な機能

テキストベースの編集ユーザーは、特定のアイテムに関連付けられたテキストプロンプトを変更し、画像内のアイテムを置き換えたり編集したりします。
画像ベースの編集この機能を使うと、対象画像内のアイテムを参照画像内のアイテムに置き換えることができます。
マスクベースの編集ユーザーは、画像内の特定のアイテムのマスクを編集できます。これには、アイテムの移動、サイズ変更、形状変更などが含まれており、アイテムの外観を変更できます。
プロジェクト削除アイテムに関連付けられたマスクとキューのペアを除去することに基づいて、特定のアイテムが画像から削除され、周囲の領域が自然に空白を埋めることができるようになります。
多機能画像エディター上記の編集機能は統一されたフレームワーク内で実装されており、柔軟で多様な画像編集機能を提供します。

D-Editの技術的原理

プロジェクトプロンプトのインタラクション:D-Editは画像を複数のアイテムに分解し、各アイテムに固有のキューを割り当てます。このキューは、事前学習済みの拡散モデルにおいて、特定のアイテムを制御するために学習されます。
分離されたクロスアテンション層D-Editは、分離されたクロスアテンションメカニズムを導入しており、これによりモデルは各項目の制御フローを対応するプロンプトとは別に処理できるため、項目レベルでの正確な編集が可能になります。
2段階最適化プロセス：
- 注射のプロンプト各項目を表す新しいトークンをテキストエンコーダの語彙に挿入し、トークン埋め込みをランダムに初期化する。
- モデルの微調整テキストエンコーダの埋め込み行列とUNetモデルの重みを最適化して、アイテムとプロンプト間の関連付けを確立し、モデルが与えられたアイテムプロンプトを使用して元の画像を再構築できるようにします。
- 編集操作の自由アイテムとヒントの関連付けを確立した後、D-Editはヒント、マスク、またはアイテムとヒント間のマッピングを変更して、さまざまな編集操作を実行できます。
柔軟性と制御性:D-Editのデザインは、編集時に特定のアイテムを正確に制御できると同時に、画像全体との自然な調和を維持します。調整プロンプトとマスクに基づいて、ユーザーは細かな調整から完全な置き換えまで、幅広い編集効果を実現できます。

D-Editプロジェクトのアドレス

GitHubリポジトリ：https://github.com/collovlabs/d-edit
arXiv技術論文：https://arxiv.org/pdf/2403.04880
オンラインでデモを体験してください：https://huggingface.co/spaces/Collov-Labs/d-edit

D-Editの応用シナリオ

デジタルアート制作アーティストやデザイナーは、画像内の特定の要素を編集することで、独自の視覚効果を生み出し、新たなデジタルアート作品を制作する。
写真編集一般ユーザーは、背景の変更、ポーズの調整、服装の変更など、自分の写真を編集できます。
広告とマーケティングマーケティング担当者は、さまざまなマーケティングキャンペーンに合わせて、広告画像内の製品、ロゴ、テキストなどの特定の要素を変更することができます。
ファッションと衣料ファッションデザイナーは、衣服の色、質感、スタイルを変えることで、さまざまなデザインの可能性を探り、服のデザインの異なるバージョンを発表する。
建築と都市計画建築家や都市計画家は、建物の外観や都市計画のレイアウトを調整するために、建築設計画像を編集する。