MagicColor - 香港科技大学が開発した、複数インスタンスに対応した線画着色フレームワーク。 - AiBoss

MagicColorとは何ですか？

MagicColorは、香港科技大学が開発したマルチインスタンス線画着色フレームワークで、線画への効率的な着色をサポートします。自己教師あり学習戦略とインスタンス誘導モジュールに基づき、MagicColorはマルチインスタンスデータの不足という問題を解決し、インスタンスレベルでの正確な色制御を実現します。従来の手法と比較して、MagicColorは単一の順伝播でマルチインスタンス線画の着色を完了できるため、着色効率が大幅に向上し、アニメーション制作やデジタルアート制作に適しています。

MagicColorの主な機能

複数インスタンスの線画着色MagicColorは、複数のインスタンスのスケッチ着色タスクを同時に処理し、各インスタンスに正確な色を割り当てることができます。
自動着色線画を自動的に鮮やかな色彩の画像に変換します。
参照画像駆動型ユーザーが参照画像を提供すると、MagicColorは参照画像の色とスタイルに従ってスケッチに色を付け、出力画像が参照画像と視覚的に一致するようにします。
インスタンスレベルの制御各インスタンスの色を正確に制御し、複雑な複数インスタンスのシナリオにおいても、ディテールと色の正確性を維持します。
エッジ強調このモデルは、着色時に画像の輪郭と高周波領域に焦点を当てることで、着色の精度と視覚的な品質を向上させます。

MagicColorの技術原理

拡散モデルの基礎MagicColorは、事前学習済みの拡散モデルに基づいており、拡散モデルの強力な生成能力と意味的一貫性保持能力を活用して、スケッチをカラー画像に変換します。
自己監督型トレーニング戦略マルチインスタンスのトレーニングデータが不足しているという問題に対処するため、MagicColorは2段階の自己教師あり学習戦略を採用しています。第1段階では単一の参照画像を使用して学習を行い、第2段階ではランダム融合やスケーリングなどの操作に基づいてマルチインスタンスデータを生成し、モデルのマルチインスタンスカラーリング機能をさらに最適化します。
インスタンスブートストラップモジュールこのモジュールは、参照画像からインスタンスの特徴を抽出し、スケッチと位置合わせすることで、インスタンスレベルでの正確な色制御を実現します。DINOv2で抽出された特徴とROI位置合わせ技術を用いることで、各インスタンスの色がターゲットスケッチに正確に転送されることを保証します。
エッジの損失と色合わせMagicColorは、カラー化の視覚的な品質を向上させるため、エッジ損失関数を導入し、モデルが画像の輪郭や構造的な詳細に焦点を当てられるようにしています。カラーマッチング技術に基づき、モデルは参照画像とターゲットスケッチの間でピクセルレベルの対応関係を確立し、正確な色転送を保証します。
デュアルUNetアーキテクチャMagicColorは、参照画像の処理用と最終的なカラー画像の生成用の2つのUNetアーキテクチャを組み合わせています。これにより、モデルは参照画像からの色情報とスケッチからの構造情報をより効果的に融合させることができ、高品質なカラー化結果が得られます。

MagicColorのプロジェクトアドレス

プロジェクト公式サイト：https://yinhan-zhang.github.io/color/
GitHubリポジトリ：https://github.com/YinHan-Zhang/MagicColor
arXiv技術論文：https://arxiv.org/pdf/2503.16948

MagicColorの応用事例

アニメーション制作複数のキャラクターが描かれたスケッチを素早く着色することで、制作効率を向上させ、一貫したカラースタイルを維持できます。
デジタルアート制作スケッチに素早く色を付け、創造性を刺激し、複数のカラーバージョンを作成できます。
ゲーム開発キャラクターやシーンのカラーバージョンを素早く生成することで、開発効率を向上させ、スタイリッシュなアセットを生成できます。
教育と訓練教育ツールとして、学生が色彩理論を素早く理解し、色彩を使いこなす能力を向上させるのに役立ちます。
広告とメディア広告デザインのニーズを満たし、視覚的な魅力とブランドの一貫性を高めるために、高品質なカラースケッチを迅速に作成します。