MT-Color - 上海交通大学とBilibiliが共同開発した、画像の色付けを制御できるフレームワーク。

MT-Colorとは何ですか？

MT-Colorは、上海交通大学とBilibiliが共同開発した、拡散モデルに基づく制御可能な画像カラー化フレームワークです。ユーザーが提供するインスタンス認識テキストとマスクに基づいて、インスタンスレベルの正確な画像カラー化を実現します。このフレームワークは、ピクセルレベルのマスク注意機構を使用して色のオーバーフローを防ぎ、インスタンスマスクとテキストガイダンスモジュールを使用して色のバインディングエラーに対処し、マルチインスタンスサンプリング戦略を使用してインスタンス認識を強化します。MT-Colorは、GPT-Colorデータセットを構築し、高品質のインスタンスレベルのアノテーションを提供することで、より洗練された画像カラー化タスクをサポートします。MT-Colorは、色の精度と視覚品質において既存の手法を凌駕し、人間の視覚認識により近い画像を生成します。

MT-Colorの主な機能

• インスタンスレベルの精密なシェーディングユーザーが提供したインスタンスマスクとテキスト説明に基づいて、画像内のさまざまなオブジェクトに正確に色を付け、各オブジェクトの色がその説明と一致するようにします。
• 色のにじみを防ぐピクセルレベルのマスクアテンションメカニズムに基づいて、異なるオブジェクト間での色の誤った拡散を効果的に回避し、明確な色の境界を維持します。
• 高品質な色彩生成生成されるカラー画像は、色彩が豊かで自然であり、高解像度（512×512）で細部まで鮮明に描写されています。
• 柔軟なユーザーコントロールテキストによる説明やマスクを使用して、ユーザーが画像の色付けプロセスを細かく制御できるようにすることで、さまざまな色付けニーズに対応できます。
• データセットのサポート私たちは、より高度な画像カラー化タスクをサポートするために、高品質なインスタンスレベルのアノテーションを提供する専用のGPT-Colorデータセットを構築しました。

MT-Colorの技術原理

• ピクセルレベルのマスク注意機構ControlNetによって抽出されたグレースケール画像の特徴は、異なるインスタンス間でのピクセル情報の交換を防ぎ、色のオーバーフロー問題を軽減するために、ピクセルレベルの相互注意機構を用いてStable Diffusionの潜在特徴と整合されます。相互注意マスクは、異なるインスタンス間でピクセル情報が互いに干渉しないように、セグメンテーションマスクを使用して構築されます。
• インスタンスマスクとテキストブートストラップモジュール各インスタンスのマスクとテキスト表現を抽出し、自己注意機構に基づく潜在特徴と融合させ、インスタンスマスクに基づいて自己注意マスクを形成することで、インスタンステキストが他の領域の着色を誘導するのを防ぎ、色の結合エラーを低減します。
• 複数インスタンスサンプリング戦略サンプリング処理中、各インスタンス領域は個別にサンプリングされ、その結果が統合されることで、インスタンス知覚における色彩効果がさらに向上する。
• GPT-Colorデータセット事前学習済みの視覚言語モデル（GPT-4やBLIP-2など）に基づいて、既存の画像データセット上に、きめ細かなテキスト説明や対応するセグメンテーションマスクを含む、高品質なインスタンスレベルのアノテーションが自動的に生成され、モデル学習のための豊富な学習データが提供されます。

MT-Colorプロジェクトの住所

• arXiv技術論文：https://arxiv.org/pdf/2505.08705

MT-Colorの応用事例

• 歴史写真の復元白黒の歴史写真に鮮やかな色を加えることで、視覚的な魅力と歴史的な雰囲気を高めることができる。
• 映画・テレビのポストプロダクション白黒レンズや低品質のカラーレンズを修復・強化し、視覚効果を向上させます。
• 芸術創作これは、アーティストが白黒のスケッチやイラストに色を加え、創造的なアイデアに命を吹き込むのに役立ちます。
• 医用画像処理医療画像に色を加えることで、診断価値が向上する。
• 教育教材中の白黒画像に色を加えることで、学習効果を高めることができます。