DiffBrush - 北京郵電大学、清華大学、およびその他の機関が共同開発した画像生成および編集フレームワーク。

DiffBrushとは何ですか？

北京郵電大学、清華大学、中国電信人工知能研究所、西北工業大学が共同開発したDiffBrushは、トレーニング不要の画像生成・編集フレームワークで、手描きのスケッチに基づいて直感的に画像生成を制御できます。DiffBrushは、事前学習済みのテキスト・トゥ・イメージ（T2I）モデルを使用し、カラーガイダンス、インスタンス・セマンティックガイダンス、潜在空間再生などの技術を用いて、生成される画像の色、セマンティクス、インスタンス分布を正確に制御します。DiffBrushは、様々なT2Iモデル（Stable DiffusionやSDXLなど）に対応し、LoRAスタイルの調整もサポートしています。ユーザーはキャンバス上にインスタンスの輪郭と色を描くだけで、ニーズに合った画像を生成できます。DiffBrushは、テキストプロンプトに依存する従来のT2Iモデルの限界を克服し、AIペイントのハードルを下げ、より直感的で効率的なクリエイティブ手法をユーザーに提供します。

DiffBrushの主な機能

• ユーザーフレンドリーな画像生成ユーザーは、複雑なテキスト入力や専門知識を必要とせず、手描きのスケッチで生成される画像の内容を制御できます。
• カラーコントロールユーザーが描画した色情報に基づいて、生成された画像内の該当領域の色を正確に制御します。
• インスタンスと意味制御インスタンスの輪郭を描画し、その意味情報をラベル付けすることで、生成された画像内の特定のオブジェクトの位置と意味属性を制御します。
• 画像編集既存の画像を編集することで、画像内のオブジェクトを追加、変更、または置き換えることができます。
• 様式化生成LoRA（低ランク適応）スタイルの調整との統合をサポートしており、油絵や伝統的な中国絵画など、さまざまな芸術スタイルの画像を生成できます。
• 複数機種対応様々なT2Iモデル（安定拡散、SDXL、フラックスなど）に対応しており、幅広い用途に使用できます。

DiffBrushの技術的原理

• 拡散モデルの誘導メカニズム拡散処理は、事前学習済みのT2Iモデル（Stable Diffusionなど）に基づいています。拡散モデルは、ランダムノイズを実際の画像にマッピングすることで、段階的にノイズを除去します。DiffBrushは、拡散処理におけるノイズ除去の方向を調整し、生成された画像がユーザーの手描きスケッチに似るようにします。
• 色のガイド拡散モデルの潜在空間と色空間の類似性が高いことを利用して、潜在空間の特徴量を調整することで、生成画像の色を精密に制御します。ユーザーが描画した色情報は潜在空間に符号化され、エネルギー関数（MSE損失など）によって、生成画像がユーザーの要求に合致するように誘導されます。
• 例と意味論的ガイダンスこのアプローチでは、拡散モデルにおけるアテンション機構（クロスアテンションやセルフアテンションなど）を活用して、インスタンスとセマンティクスを制御します。ユーザーが描画したインスタンスの輪郭線は、アテンションマップの監視対象として使用されます。アテンションマップの分布を調整することで、生成された画像内のオブジェクトの位置とセマンティクスがユーザーの要求と一致するように保証されます。
• 潜在的な空間再生ユーザーが手描きしたスケッチの目標分布を近似する初期ノイズ分布を反復的に最適化することで、拡散プロセスの初期段階でポテンシャル空間を調整し、生成される画像の品質をさらに最適化します。
• ユーザーとのインタラクションと互換性DiffBrushは、ユーザーが描いたスケッチとテキストプロンプトを組み合わせることで、シンプルなユーザーインターフェースを通して直感的な操作を可能にします。様々な事前学習済みT2Iモデルをサポートしており、ユーザーはガイダンス強度などのハイパーパラメータを調整して最適な生成結果を得ることができます。

DiffBrushプロジェクトのアドレス

• arXiv技術論文：https://arxiv.org/pdf/2502.20904

DiffBrushの応用事例

• クリエイティブペインティングアーティストやデザイナーは、手描きのアイデアを高品質な画像に素早く変換でき、多様なスタイルに対応し、芸術的なコンセプトの実現を容易にします。
• 画像編集シンプルな手描きイラストを使って、既存の画像にコンテンツを追加、置換、または変更できます。一般ユーザーにもデザイナーにも適しています。
• 教育ツール美術やデザイン教育において、生徒が手描きを通して色彩、構図、創造的な表現を理解するのに役立つ。
• ゲームデザインゲームシーン、キャラクター、アニメーションスケッチを素早く生成し、様式化された出力に対応し、創造的な反復作業を促進します。
• 広告デザインクリエイティブなスケッチから広告画像を迅速に生成し、クライアントの色やレイアウトに関する要望を満たすことで、デザイン効率を向上させます。