project
ColorFlow - 清華大学とテンセントが共同開発した画像シーケンスの色付けモデル。
ColorFlowは、清華大学とテンセントARCラボが共同開発した画像シーケンスカラー化モデルです。シーケンス内の個々の人物のアイデンティティを高い精度で保持しながら、画像をカラー化することができます。検索強化、コンテキスト学習、超解像技術に基づいています。
ColorFlowとは何ですか？
ColorFlowは、清華大学とテンセントARCラボが共同開発した画像シーケンスカラー化モデルです。シーケンス内の個々の要素のアイデンティティを高い精度で維持しながら、画像をカラー化することができます。検索機能の強化、コンテキスト学習、超解像技術に基づき、ColorFlowはカラー化された白黒画像シーケンスと参照画像間の色の一貫性を確保し、漫画やアニメーション制作などの産業用途に適しています。画像シーケンスカラー化の分野において、ColorFlowはCLIP-ISの改善、FIDの低減、PSNRおよびSSIMスコアの向上、ASの強化など、既存技術と比較して優れた性能を発揮し、美術業界に新たなカラー化基準を提供します。
ColorFlowの主な機能
- 検索拡張パイプライン（RAP）入力された白黒画像に最も関連性の高いカラー画像パッチを、参照画像プールから抽出して、カラー化処理の指針とする。
- コンテキスト内カラー化パイプライン（ICP）強力な文脈学習に基づいて色の識別情報を正確に取得し、色付けには二分岐設計を採用している。
- ガイド付き超解像パイプライン（GSRP）低解像度のカラー出力をアップサンプリングすることで、高解像度のカラー画像が生成され、ディテールの再現性が向上し、出力品質が改善されます。
ColorFlowの技術原理
- 検索拡張事前学習済みのCLIP画像エンコーダは、入力画像と参照画像の埋め込みを生成し、コサイン類似度を計算して最も類似した参照画像パッチを特定し、それを後続のカラー化トレーニングに使用します。
- 文脈に応じた着色条件情報を統合するために、「カラー化ガイド」という補助ブランチが導入されています。U-Net拡散モデルに基づき、特徴量が段階的に統合され、ピクセルレベルの条件付き埋め込みが実現されます。事前学習済みの拡散モデルは、軽量なLoRA（低ランク適応）手法を用いて微調整され、その着色能力が維持されます。
- 超解像度これは、カラー化処理中のダウンサンプリングの問題に対処し、構造的な歪みを軽減します。高解像度のモノクロ画像と低解像度のカラー出力を組み合わせることで、ディテールの復元を強化し、出力品質を向上させます。
- 自己注意機構拡散モデルでは、自己注意機構を用いて参照画像とグレースケール画像を同じキャンバス上に配置し、特徴を抽出し、それらをレイヤーごとに拡散モデルに入力して着色します。
- タイムステップシフトサンプリングサンプリング戦略を調整し、より高い時間ステップでのサンプリングを重視し、着色処理の効果を高める。
- スクリーンスタイル拡張グレースケール画像とScreenVAEの出力に対してランダム線形補間を実行することで、入力画像のスタイル適応性を高め、カラー化性能を向上させます。
ColorFlowのプロジェクトアドレス
- プロジェクト公式サイト：zhuang2002.github.io/ColorFlow
- GitHubリポジトリ：https://github.com/TencentARC/ColorFlow
- ハギングフェイスモデルライブラリ：https://huggingface.co/TencentARC/ColorFlow
- arXiv技術論文：https://arxiv.org/pdf/2412.11815
- オンラインでデモを体験してください：https://huggingface.co/spaces/TencentARC/ColorFlow
ColorFlowの応用事例
- 漫画やアニメの塗り絵このツールは、白黒の漫画やアニメの画像をカラー版に変換するため、漫画家やアニメーターが制作過程で線画に素早く色を付けるのに最適です。
- 古い写真の修復歴史的な白黒写真に色を加えることで、古い写真の本来の姿を復元し、歴史的画像の美的価値を高めることができる。
- 映画・ビデオのポストプロダクション白黒映画に色を付けるため、あるいは現代の映画製作において特定の色調補正効果を与えるために使用される。
- 芸術創作アーティストは、制作過程において、白黒の作品に色を加えたり、さまざまな配色を模索したりする。
- 教育と学習教育分野においては、色が画像に与える影響を学生が理解し、画像処理やコンピュータビジョンの基本概念を学ぶためのツールとして活用される。