OmniEdit - ウォータールー大学をはじめとする複数の機関によってオープンソース化された、汎用画像編集モデル。

OmniEditとは何ですか？

OmniEditは、複数のエキスパートモデルの指導の下で汎用モデルをトレーニングし、様々な画像編集タスクを処理する高度な画像編集技術です。異なるアスペクト比の画像や、オブジェクトの置換、削除、追加など7種類の画像編集タスクに対応し、任意のアスペクト比と解像度をサポートします。7つのエキスパートモデルに基づく教師ありトレーニングによりタスクの網羅性が確保され、大規模なマルチモーダルモデルスコアリングへの活用によりトレーニングデータの品質が向上します。独自のEditNetアーキテクチャを採用することで、編集の成功率が向上しています。OmniEditは、自動評価と人間による評価の両方において、既存のモデル（InstructPix2Pix、MagicBrush、UltraEdiなど）を大幅に上回り、元の画像の忠実度を維持しながら指示に正確に従います。

OmniEditの主な機能

• マルチタスク編集機能OmniEditは、オブジェクトの置換、オブジェクトの削除、オブジェクトの追加、属性の変更、背景の置換、環境の変更、スタイルの転送など、7種類の画像編集タスクを実行できます。
• 専門家によるモデル監督OmniEditは、タスクの網羅性を確保するために、7つの異なる専門家モデルに基づいた監督下でトレーニングされています。
• 任意のアスペクト比と解像度に対応このモデルは、異なるアスペクト比と解像度の画像に対応できるため、さまざまな実世界のシナリオに適しています。
• 指示主導型編集ユーザーはテキストコマンドを使用してOmniEditに特定の画像編集タスクを実行させることができ、編集の柔軟性とユーザーによる制御性を向上させることができます。
• 高画質画像出力編集プロセスにおいて、OmniEditはノイズやアーティファクトを低減しながら、元の画像の高い忠実度を維持します。
• データ品質管理大規模なマルチモーダルモデルを使用して合成サンプルを評価し、トレーニングデータの質を向上させる。

OmniEditの技術的原則

• 専門家モデルから汎用モデルへの教師あり学習汎用編集モデルは、それぞれ特定の編集タスクに焦点を当てた複数の専門モデルからの監視信号を使用して訓練されます。
• 重要度サンプリング大規模なマルチモーダルモデル（GPT-4oなど）は、合成サンプルの品質を評価し、重点サンプリングを実行してトレーニングデータセットの品質を向上させます。
• EditNetアーキテクチャ拡散変換器アーキテクチャに基づいており、相互作用のために中間表現を使用し、制御ブランチと元のブランチ間の相互作用をサポートし、モデルの編集タスクの理解を強化します。
• あらゆるアスペクト比に対応トレーニング中は、モデルがあらゆる画像の縦横比に対応できるように、異なる縦横比の画像が使用されます。

OmniEditプロジェクトのアドレス

• GitHubリポジトリ：https://github.com/TIGER-AI-Lab/OmniEdit
• ハギングフェイスモデルライブラリ：https://huggingface.co/collections/TIGER-Lab/omniedit-6732d8e381c3e56b0a2106d5
• arXiv技術論文：https://arxiv.org/pdf/2411.07199

OmniEditの応用シナリオ

• プロによる画像編集デザイナーやアーティストは、広告デザイン、芸術作品の制作、写真修復など、効率的な画像編集作業を行います。
• ソーシャルメディアコンテンツの作成ソーシャルメディアのユーザーは、画像を簡単に編集・加工することで、コンテンツの魅力を高めることができる。
• 電子商取引オンライン販売業者は、商品の背景を変更したり、スタイルを調整したりするなど、商品画像を編集することで、商品の市場における魅力を高めることができます。
• ニュースとメディア報道機関は、さまざまな出版ニーズやスタイルに合わせて、ニュース写真を迅速に調整できる。
• 教育と訓練教育分野においては、画像編集やビジュアルデザインを学生が学ぶための教材として活用されている。