project
SUPIR - 高精度AI画像復元・強調モデル
SUPIRは、大規模生成モデルStableDiffusion-XL（SDXL）とモデル拡張技術を活用した画期的な画像修復・強調手法です。深層学習とマルチモーダル手法により、高品質な画像復元を実現します。
SUPIRとは何ですか？
SUPIR（Scaling-UP Image Restoration）は、大規模生成モデルStableDiffusion-XL（SDXL）とモデル拡張技術を活用した画期的な画像修復・強調手法です。深層学習とマルチモーダル手法により、低品質画像の高品質な復元を実現します。この手法は、テキストプロンプトによる画像復元のきめ細かな制御をサポートしており、オブジェクトのテクスチャやシーンのセマンティックコンテンツなど、ユーザー入力に基づいて復元の様々な側面を調整できます。SUPIRは、深セン先進技術研究院、中国科学院、上海AIラボ、シドニー大学、香港理工大学、テンセントARCラボ、香港中文大学の研究者によって共同開発されました。
SUPIRの公式サイトへの入り口
- 公式プロジェクトホームページ：https://supir.xpixel.group/
- GitHubソースコードリポジトリ：https://github.com/Fanghua-Yu/SUPIR
- arXivの研究論文：https://arxiv.org/abs/2401.13627
SUPIRの主な機能
- 高品質な画像復元SUPIRは、低品質の画像を元の状態に近い高品質の画像に復元することができ、圧縮、ノイズ、ぼやけなど、さまざまな原因による画像劣化にも対応できます。
- 様々な種類の画像を修復するSUPIRは、風景、人物、動物、ゲームシーン、古い映画、古い写真など、様々な種類の劣化画像を効果的に復元できます。画像のディテールを向上させ、鮮明さとリアリティを回復させ、画像に新たな命を吹き込みます。
- テキストプロンプトが修理をガイドしますSUPIRでは、テキストプロンプトを使用して画像復元プロセスをガイドし、画像内のぼやけたオブジェクトの修復、オブジェクトの材質テクスチャの変更、高度なセマンティクスに基づく画像復元効果の調整など、復元の特定の側面を指定できます。
- 品質に関する警告SUPIRは、ネガティブな品質手がかりを利用して、画像の知覚品質を向上させます。モデルにどの画像の特徴が望ましくないか（例：「絵画効果、漫画風、ぼやけている、乱雑、低品質」）を伝えることで、モデルは復元プロセス中にこれらの特徴を回避し、画像全体の品質を向上させることができます。
SUPIRの仕組み
- 生成事前分布SUPIRは、生成事前分布としてStableDiffusion-XL（SDXL）を使用します。SDXLは、26億個のパラメータを持つ大規模な事前学習済み画像生成モデルです。生成事前分布とは、モデルによって学習された画像データ分布に関する知識であり、画像生成および再構成プロセスを導くために使用されます。
- データセットとテキスト注釈SUPIRを訓練するために、研究者たちは高解像度で高品質な画像2000万枚を含むデータセットを収集した。各画像には詳細な説明テキストによる注釈が付いている。これらの注釈は画像の内容に関する追加情報を提供し、モデルが画像をより良く理解し、再構築することを可能にする。
- アダプタSDXLモデルを効果的に適用するために、研究者らは6億個以上のパラメータを持つアダプターを設計・訓練した。このアダプターの役割は、低品質画像内のコンテンツを識別し、ピクセルレベルで生成プロセスを細かく制御することである。
- テキストプロンプトコントロールSUPIRは、ユーザーが入力したテキストプロンプトに基づいて画像復元をガイドできます。これらのプロンプトは、画像コンテンツの具体的な説明、または望ましい画像品質に関する高レベルのセマンティックな説明のいずれかです。
- 品質に関する否定的なヒントとトレーニングサンプル画像の知覚品質を向上させるため、SUPIRは、モデルが不要な画像の特徴を理解できるように、ネガティブな品質キューを導入しています。研究者らは、SDXLを使用してこれらのネガティブな品質キューに対応する画像を生成し、モデルがこれらのネガティブな品質概念を学習できるように、それらをトレーニングデータに組み込みました。
- 履歴書に基づくサンプリング生成プロセス中の画像歪みを防止するため、SUPIRは、拡散中に予測結果を選択的に低品質画像に近づけることで復元の一貫性を維持する、新しい復元誘導型サンプリング手法を採用しています。
- モデルのトレーニングとサンプリングの設定SUPIRは、トレーニング中に合成劣化モデルを使用し、64台のNvidia A6000 GPUで10日間トレーニングを行った。テスト中、このモデルは1024×1024ピクセルの画像を処理することができた。
SUPIRの応用シナリオ
- 古い写真の修復：SUPIRは、古くなった写真、傷んだ写真、色褪せた写真を修復するために使用でき、元の色とディテールを復元することで、大切な思い出を保存し、後世に伝えることができます。
- ぼかし画像補正：手ブレ、ピントずれ、モーションブラーなどが原因でぼやけた写真の場合、SUPIRは高度なアルゴリズムによって画像の鮮明度を向上させ、元々ぼやけていた画像をより鮮明にすることができます。
- 騒音除去：高ISO感度や低照度条件下で撮影された写真には、ノイズが含まれることがよくあります。SUPIRは、重要な画像の詳細を保持しながら、このノイズを効果的に識別して除去することができます。
- 色補正と強調：SUPIRは、過飽和や色ずれなどの色歪みの問題を特定して補正し、画像の色をよりリアルで鮮やかなものにすることができます。