Click2Maskは、簡単なクリック操作とコンテンツの説明だけでインテリジェントな画像編集を可能にするAI画像編集技術です。

Click2Maskとは何ですか？

Click2Maskは、複雑なマスキングや詳細な説明を必要とせず、画像をクリックするだけで局所的な編集を可能にする高度な画像編集技術です。ハイブリッド潜在拡散（BLD）プロセスとCLIPベースのセマンティック損失を用いてマスク生成をガイドすることで、ユーザーの入力を簡素化します。Click2Maskは編集ニーズに自動的に適応し、マスクのサイズと形状を調整して、指定された領域内に新しいコンテンツを追加しながら、画像の残りの部分を保持します。デジタルアート制作、写真編集、オンラインコンテンツ制作など、さまざまなシナリオに適しています。

Click2Maskの主な機能

動的マスク生成ユーザーが画像をクリックしてポイントを選択すると、Click2Maskはそのポイントの周囲にマスクを自動的かつ動的に生成し、編集ニーズに応じてサイズと形状をインテリジェントに調整します。
ローカルコンテンツを追加するこの機能を使うと、動物、建物、その他あらゆるものといった新しいオブジェクトや要素を、画像の他の部分に影響を与えることなく、画像の特定の領域に追加できます。
ユーザー入力を簡素化する画像編集は、ユーザーが正確なマスクの輪郭や複雑なテキスト説明を入力する必要なく、簡単なクリックと内容の説明だけで行うことができます。
自由形式の編集ユーザーは、画像内の既存のオブジェクトや領域の境界に制約されることなく、画像内のどこにでも自由に新しいオブジェクトを追加できます。

Click2Maskの技術原理

クリックして探すユーザーが画像上の任意の場所をクリックすると、クリックした場所が編集の開始点となり、その後の動的なマスク生成とコンテンツ追加のための領域が決定されます。
動的マスク生成システムは、ユーザーのクリック位置に基づいてマスクを動的に生成します。このマスクは静的なものではなく、画像編集中に継続的に調整および最適化され、ユーザーが追加したいコンテンツに合わせて最適化されます。
混合電位拡散（BLD）ハイブリッド潜在拡散モデルに基づき、入力画像の背景情報とユーザーが指定したコンテンツ記述を組み合わせることで、拡散プロセスを通じて記述に一致する画像コンテンツが徐々に生成される。
Alpha-CLIPに基づく意味損失BLDプロセスでは、マスクの生成および編集プロセスをガイドするために、Alpha-CLIPベースの意味損失関数が使用されます。

Click2Maskプロジェクトのアドレス

プロジェクト公式サイト：omeregev.github.io/click2mask
arXivの技術論文：https://arxiv.org/pdf/2409.08272

Click2Maskの応用事例

デジタルアート制作アーティストやデザイナーは、Click2Maskを使用して、デジタルキャンバスに要素を自由に追加できます。例えば、風景画に鳥や木を追加したり、都市の風景に新しい建物を追加したりできます。
写真編集ユーザーは、個人の写真や家族アルバムに要素を追加したり変更したりできます。例えば、古い写真に写っていない家族を追加したり、旅行写真に仮想の装飾要素を追加したりできます。
ソーシャルメディアコンテンツの作成コンテンツクリエイターやソーシャルメディアインフルエンサーは、Click2Maskを使って画像を素早く編集したり、投稿やストーリーに楽しいビジュアルを追加したり、より多くの注目とインタラクションを集めたりすることができます。
広告およびマーケティング資料マーケティングチームは、広告の魅力と効果を高めるために、広告画像に製品情報、テキスト、またはプロモーション情報を追加します。
映画およびゲーム制作映画のポストプロダクションやゲームのアセット制作において、Click2Maskはシーンのコンセプトを迅速に練ったり、既存のアセットを修正したりするために使用され、制作効率を向上させます。