BrushEdit - テンセント、北京大学などが共同開発した画像編集フレームワークで、指示に従って画像編集や修復を行うことができる。 - AiBoss

BrushEditとは何ですか？

BrushEditは、テンセント、北京大学、香港中文大学、清華大学が共同開発した高度な画像編集フレームワークです。BrushNetモデルの改良版であり、マルチモーダル大規模言語モデル（MLLM）と2分岐画像インペインティングモデルを組み合わせることで、指示に基づいた画像編集とインペインティングを実現します。自然言語コマンドを用いた自由形式の複数ラウンドの対話型編集操作をサポートし、背景の連続性と自然な編集効果を維持しながら、オブジェクトの追加や削除といった大幅な変更にも対応できるため、画像編集の柔軟性とユーザーエクスペリエンスが大幅に向上します。

BrushEditの主な機能

指示に従って画像を編集するユーザーは自然言語コマンドを使用して、画像内のオブジェクトの追加、削除、変更などの画像編集タスクを実行できます。
複数ラウンドのインタラクティブ編集編集プロセス中に複数回のやり取りをサポートしており、ユーザーは編集結果を段階的に調整・改善することができます。
自由形式のマスク編集ユーザーは、精密なセグメンテーションツールを必要とせずに、自由にマスクを描画して編集領域を指定できます。
バックグラウンド処理とフォアグラウンド処理フレームは編集領域（前景）と非編集領域（背景）を区別できるため、編集操作が画像の対象外の部分に影響を与えないことが保証されます。
画像復元画像内の欠落部分や指定された領域を自動的に補完・修復します。例えば、不要なオブジェクトの削除や、穴の埋めなどを行います。

BrushEditの技術的原則

マルチモーダル大規模言語モデル（MLLM）: 事前学習済みのMLLMを使用して、ユーザーの自由形式の編集指示を解析し、編集の種類と対象オブジェクトを識別します。
二分岐画像復元モデルこのフレームワークは2つのブランチからなるアーキテクチャを採用している。一方のブランチはマスクされた領域の画像を生成する役割を担い、もう一方のブランチはマスクされていない領域の背景情報を処理する。
プロキシコラボレーションフレームワークエージェント（エージェントインストラクターとエージェントコマンダー）間の連携に基づいて、編集カテゴリの分類、主要オブジェクトの識別、マスクの取得、および編集領域の修復を可能にする。
機能融合このシステムは、ユーザーの指示とマスク情報を画像修復モデルに統合し、マスクされた領域内で指示に合致するコンテンツを生成するようにモデルを誘導します。
畳み込み層ゼロと特徴挿入凍結された事前学習済みモデルは、畳み込み層を一切使用せずに学習可能なBrushEditモデルに接続されており、これにより初期学習段階でのノイズが低減され、層ごとに特徴が統合されてきめ細かな制御が実現されます。
ハイブリッド微調整戦略ランダムマスクとセグメントマスクを組み合わせた微調整戦略により、モデルは特定のマスクタイプに制限されることなく、さまざまなマスキングタスクを処理できるようになります。

BrushEditプロジェクトのアドレス

プロジェクト公式サイト：liyaowei-stu.github.io/project/BrushEdit
GitHubリポジトリ：https://github.com/TencentARC/BrushEdit
ハギングフェイスモデルライブラリ：https://huggingface.co/TencentARC/BrushEdit
arXiv技術論文：https://arxiv.org/pdf/2412.10316

BrushEditの応用シナリオ

コンテンツの作成と編集アーティストやデザイナーは、これを使ってクリエイティブな画像編集を行い、複雑な視覚効果や芸術作品を素早く実現することができます。
メディアとエンターテインメント映画やビデオ制作においては、これはポストプロダクションの段階で、古い映像や破損した映像を修復したり、不要な要素を削除したりすることを指します。
広告とマーケティング広告主は、さまざまなマーケティング戦略に合わせて、広告画像の製品や背景を素早く変更できる。
ソーシャルメディアユーザーは、ホリデーシーズンの飾り付けやバーチャルな服の試着など、編集した画像をソーシャルメディアで共有している。
電子商取引ECプラットフォーム上の商品画像を編集する。例えば、商品の背景を変更したり、商品の色を調整したり、販促ラベルを追加したりする。