Real-ESRGAN：テンセントが発表したオープンソースの画像解像度向上モデル。

Real-ESRGANとは何ですか？

Real-ESRGAN（Real-World Blind Super-Resolution with Pure Synthetic Data）は、テンセントのARC Labsが開発したオープンソースの深層学習モデルで、低解像度画像を高解像度画像に処理・向上させるために特別に設計されています。このモデルの重要な特徴は、参照として実際の高解像度画像を必要とせず、合成劣化プロセスを通じて学習できることです。これにより、現実世界の画像劣化をシミュレートできます。このアプローチは、高解像度から低解像度への画像劣化の仕組みに関する知識を必要としないため、「ブラインド超解像」と呼ばれています。

Real-ESRGANの機能

画質の向上低解像度の画像を高解像度の画像に変換する際、画像の詳細や質感を維持または向上させ、ぼやけやノイズを低減します。
アーティファクトの除去画像拡大処理中に、Real-ESRGANはリンギングやオーバーシュートといった一般的な画像アーティファクトを識別し、低減することができる。
現実世界の劣化をシミュレートするReal-ESRGANは、高次の劣化モデルを用いることで、カメラのぼやけ、センサーノイズ、シャープ化、JPEG圧縮など、現実世界における様々な画像劣化プロセスをシミュレートすることができる。
高解像度の画像は不要ですReal-ESRGANのトレーニングは、実際の高解像度画像に依存するのではなく、合成劣化プロセスを通じてトレーニングデータを生成するため、実際の高解像度画像がなくてもモデルをトレーニングできます。
画像の詳細を強調するReal-ESRGANは解像度を高めると同時に、画像内の質感、エッジ、輪郭などの局所的なディテールを強調することができ、拡大された画像をより鮮明で自然なものにします。

Real-ESRGANの公式サイト

公式GitHubリポジトリ：https://github.com/xinntao/Real-ESRGAN
研究論文：https://arxiv.org/abs/2107.10833
実行時アドレスを複製する:https://replicate.com/xinntao/realesrgan
Google Colab ランタイムアドレス:https://colab.research.google.com/drive/1k2Zod6kSHEvraybHl50Lys0LerhyTMCo?usp=sharing
アニメ6Bのアークバージョン：https://arc.tencent.com/zh/ai-demos/imgRestore

Real-ESRGANの仕組み

Real-ESRGANは、深層学習と敵対的生成ネットワーク（GAN）のフレームワークに基づいて動作し、以下の主要なステップを含みます。

データ合成Real-ESRGANは学習時に実際の高解像度画像を使用しないため、まず合成学習データが必要となります。これは、ぼかし、ダウンサンプリング、ノイズ付加、JPEG圧縮など、現実世界の画像劣化プロセスをシミュレートすることで実現されます。これらのプロセスは、高解像度画像から低解像度画像への劣化経路をシミュレートします。多様性を高めるため、Real-ESRGANは高次の劣化モデルを採用し、これらの劣化プロセスを繰り返し実行することで学習サンプルを生成します。
モデルアーキテクチャReal-ESRGANは、ESRGANと同様の生成ネットワークを使用します。これは、複数の残差内残差密ブロック（RRDB）を含む深層畳み込みニューラルネットワーク（CNN）です。このネットワークは、低解像度画像から高解像度画像を復元する役割を担います。識別器の性能を向上させるため、Real-ESRGANはスペクトル正規化（SN）を備えたU-Net識別器も採用しています。
トレーニングプロセストレーニングは2つのフェーズに分かれています。まず、L1損失関数を用いて、ピーク信号対雑音比（PSNR）を重視したモデル（Real-ESRNet）をトレーニングします。次に、このモデルをジェネレータの初期化に使用し、L1損失、知覚損失（VGGネットワークの特徴マップに基づく）、およびGAN損失（敵対的損失）と組み合わせてReal-ESRGANをトレーニングします。この損失を組み合わせたアプローチは、画像のリアリティを維持しながら、画像の詳細度を高めることを目的としています。
スペクトル正規化学習プロセスを安定させ、識別器の性能を向上させるため、Real-ESRGANはU-Net識別器にスペクトル正規化を採用しています。この手法は、学習中の不安定性や過学習を防ぐとともに、より正確な勾配フィードバックを提供することで、生成器がよりリアルな画像を生成する方法を学習するのに役立ちます。
高解像度画像を生成するトレーニング後、Real-ESRGANジェネレーターネットワークは低解像度の画像を入力として受け取り、対応する高解像度の画像を出力できます。このプロセスにおいて、モデルは画像のディテールを復元しつつ、劣化によって生じるアーティファクトを低減しようと試みます。
評価と最適化トレーニング後、Real-ESRGANの性能は、複数の実世界データセットを用いたテストによって評価されます。これには、非参照画像品質評価指標（NIQEなど）の使用や視覚的な比較が含まれます。評価結果に基づいて、モデルをさらに最適化および調整することができます。

Real-ESRGANの応用例

デジタル画像修復デジタルメディアの分野では、Real-ESRGANは古い写真、スキャンされた文書、圧縮画像などの品質を向上させ、失われたディテールを復元するために使用できます。
動画の画質向上映像制作やポストプロダクションにおいて、Real-ESRGANは映像解像度を向上させるために使用でき、大画面で再生した際の映像をより鮮明にすることができる。
ソーシャルメディアコンテンツ処理ソーシャルメディアプラットフォーム上の画像や動画は、圧縮によって画質が劣化することがよくあります。Real-ESRGANは、こうしたコンテンツの品質を復元・向上させるのに役立ちます。
監視ビデオ分析監視システムにおいて、Real-ESRGANは監視カメラで撮影された画像の解像度を向上させるために使用でき、セキュリティ監視やイベント分析にとって重要な詳細の識別精度を高めるのに役立ちます。
医用画像処理医療分野では、Real-ESRGANはMRIやCTスキャンなどの医療スキャン画像を強化するために使用でき、医師がより明確に観察・診断するのに役立つ。