InvSR - 古い写真の高解像度復元のためのオープンソースの画像超解像モデル。 - AiBoss

InvSRとは何ですか？

InvSRは、拡散モデルの逆処理に基づいて高解像度画像を復元する革新的な画像超解像モデルです。大規模な事前学習済み拡散モデルから得られる豊富な画像事前情報を活用することで、超解像性能を向上させています。InvSRの中核となるのは、順方向拡散処理中に必要な最適なノイズマップを推定するディープノイズ予測器です。この手法は、拡散モデルの事前知識を最大限に活用し、柔軟かつ効率的なサンプリングメカニズムを提供することで、画像劣化の種類や特定のニーズに応じてサンプリングステップを自由に調整できます。

InvSRの主な機能

画像超解像強調その主な機能は、画像の解像度を向上させ、低解像度の画像から高解像度の画像を復元することです。
柔軟なサンプリング機構1から5までの任意の数のサンプリングステップをサポートし、ユーザーは画像劣化の種類や特定のニーズに応じてサンプリングステップを調整できます。
騒音予測深度ノイズ予測器は最適なノイズマップを推定し、サンプリングプロセスにおいて拡散モデルを初期化するために使用されます。
拡散モデルは、: 事前学習済みの拡散モデルにおける画像に関する事前知識を最大限に活用し、超解像の性能を向上させる。
高効率コンピューティングサンプリングステップ数を減らしても、既存の手法と同等以上の性能を維持または向上させることができ、計算効率を向上させることができる。

InvSRの技術原則

拡散モデルフレームワーク拡散モデル（例えば、ノイズ除去拡散確率モデル、DDPM）に基づいて、高解像度画像にノイズを徐々に加えることで、低解像度画像のランダムノイズマップに変換する。
部分的なノイズ予測戦略拡散モデルの中間状態を初期サンプリング点として構築し、低解像度から高解像度への逆解析プロセスを簡略化する。
ディープノイズ予測器順方向拡散プロセスにおける最適なノイズマップを推定するために用いられる主要コンポーネントの一つであり、それによって拡散軌跡上のサンプリングプロセスを部分的に初期化する。
逆拡散プロセスノイズの多い画像から始め、逆拡散処理によってノイズを徐々に除去し、高解像度の画像を復元する。
柔軟なサンプリング手順：異なる開始サンプリングポイントを選択し、既存のサンプリングアルゴリズムと組み合わせることで、さまざまな画像劣化状況に適応し、異なる数のサンプリングステップを実現します。
トレーニングと最適化ノイズ予測器は、予測された高解像度画像と実際の高解像度画像との差を最小化することによって学習され、その後、L2損失、LPIPS損失、GAN損失を用いて学習され、性能が最適化されます。

InvSRのプロジェクトアドレス

GitHubリポジトリ：https://github.com/zsyOAOA/InvSR
arXiv技術論文：https://arxiv.org/pdf/2412.09013
オンラインでデモを体験してください：https://huggingface.co/spaces/OAOA/InvSR

InvSRの応用シナリオ

デジタルメディアの修復と強化古い写真、歴史的文書、または損傷した画像の解像度を向上させることで、文化遺産の復元と保存を支援します。
ビデオ監視とセキュリティ監視カメラで撮影された低解像度の動画や画像の鮮明度を向上させ、セキュリティ監視システムの認識能力を強化する。
医用画像処理MRIやCTスキャンなどの医用画像分野では、画像解像度を向上させることで、医師がより正確に病状を診断できるようになる。
衛星写真および航空写真地理情報システム（GIS）、環境モニタリング、都市計画における利用を目的として、衛星画像の解像度を向上させる。
モバイルデバイスと写真撮影スマートフォンなどのモバイル端末では、撮影した写真の解像度を向上させ、ユーザーエクスペリエンスを高める。