SmartEraser - 中国科学技術大学（USTC）とマイクロソフトリサーチアジアが開発した画像オブジェクト除去技術 - AiBoss

SmartEraserとは何ですか？

SmartEraserは、中国科学技術大学とマイクロソフトリサーチアジアが共同開発した画像編集技術で、ユーザーが指定したオブジェクトを画像から削除するために特化して設計されています。革新的な「マスク領域ガイダンス」パラダイムに基づき、SmartEraserは従来の「マスク＆インペイント」方式とは異なり、マスク領域をガイドとして削除処理に活用します。これにより、対象オブジェクトのより正確な識別と削除が可能になり、同時に周囲のコンテキストも効果的に保持できます。大規模かつ高品質なSyn4Removalデータセットで学習され、マスク強調技術とCLIPベースのビジュアルガイダンスを組み込んだSmartEraserは、オブジェクト削除タスクにおいて優れた性能を発揮します。

SmartEraserの主な機能

対象物の識別と除去ユーザーが指定したマスクに基づいて対象物を正確に識別し、画像から削除します。
コンテキストの保持この方法は、対象物を除去しつつ、周囲の環境の詳細や構造を保持することで、画像の視覚的な一貫性を確保します。
高品質な画像生成生成された画像は、明らかな歪みやアーティファクトがなく、元の画像と視覚的に一致している。
堅牢性ユーザーが提供する様々な形状やサイズのマスクに対して非常に堅牢であり、様々な入力条件に適応します。
複雑なシナリオに適しています複数のオブジェクトや複雑な背景を含む画像など、複雑なシーンから対象オブジェクトを効果的に除去します。

SmartEraserの技術原理

マスク領域誘導パラダイム：
- マスク着用予約エリア従来の「マスキングと修復」手法とは異なり、SmartEraserは入力画像におけるマスキング領域の位置を保持し、それを除去処理のガイドとして使用します。このモデルは除去が必要なオブジェクトを正確に識別できるため、マスキング領域内でオブジェクトが再生成されるリスクを低減できます。
- コンテキスト情報ユーザー定義マスクは、多くの場合、対象オブジェクト自体を超えて拡張され、モデルが最終結果において周囲のコンテキストを保持するのに役立ち、生成される画像をより自然でリアルなものにします。
Syn4Removalデータセット：
- 合成データ生成この手法では、合成的なアプローチを用いて訓練データを構築することで、新しいパラダイムに準拠したモデルを訓練します。具体的には、異なる画像からオブジェクトインスタンスを抽出し、異なる背景画像に貼り付けて入力画像を作成します。貼り付けられたオブジェクトのマスクが入力マスクとして機能し、元の背景画像が正解データとして機能します。
- 大規模データセットSyn4Removalデータセットには、さまざまなシーンやオブジェクトタイプを網羅した100万組の画像トリプルが含まれており、モデルトレーニングのための豊富なデータサポートを提供します。
テキストから画像への拡散モデルに基づくフレームワーク：
- マスキングの強化ユーザーが入力するさまざまなマスク形状に対するモデルの堅牢性を高めるため、トレーニング中にさまざまなマスク変形手法を適用して、ユーザーが入力したマスクの形状をシミュレートします。これらの手法には、元のマスク、収縮マスク、膨張マスク、凸包マスク、楕円マスク、バウンディングボックスマスク、ベジェ曲線マスクなどが含まれます。
- CLIPベースの視覚ガイダンス削除対象物の視覚的特徴は、事前学習済みのCLIPモデルを使用して抽出され、テキストエンコーダの特徴空間にマッピングされる。
- 損失関数このモデルの学習損失関数は、標準的な拡散プロセスに基づいており、予測されたノイズと実際のノイズの差を最小化することによってモデルのパラメータを最適化します。

SmartEraserプロジェクトのアドレス

プロジェクト公式サイト：https://longtaojiang.github.io/smarteraser
GitHubリポジトリ：https://github.com/longtaojiang/SmartEraser
arXiv技術論文：https://arxiv.org/pdf/2501.08279

SmartEraserのアプリケーションシナリオ

個人の写真編集旅行写真から見知らぬ人を削除したり、家族写真から不要な人物や物を取り除いたり、身分証明書の写真やソーシャルメディアのプロフィール写真の背景をきれいにしたりするために使用されます。
プロフェッショナルな画像処理広告やマーケティングにおいては、商品写真から注意をそらす要素を取り除き、広告デザインの背景を最適化する。
グラフィックデザインこれは、グラフィックデザイナーがポスターや表紙のデザインにおいて、焦点となる部分を強調し、不要な背景要素を取り除くのに役立ちます。
文化財修復古代絵画などの文化遺産の修復においては、これには染みや損傷の除去が含まれる。
医学および科学研究X線画像やCT画像などの医療画像処理においては、機器のアーティファクトやマーカーを除去し、顕微鏡画像や衛星画像などの科学画像処理においては、背景ノイズや干渉を除去して画像解析の価値を高めます。