PixelHacker - 華中科技とVIVOが共同開発した画像復元モデル

PixelHackerとは何ですか？

PixelHackerは、華中科技大学とVIVO AI Labが共同開発した画像修復モデルです。潜在カテゴリガイダンス（LCG）パラダイムに基づき、前景と背景を別々にエンコードし、線形アテンションを用いてノイズ除去プロセスに特徴を注入することで、構造的および意味的な一貫性を実現しています。このモデルは、大規模データセット（1400万組の画像とマスクのペアを含む）で事前学習され、Places2、CelebA-HQ、FFHQなどの複数のオープンソースベンチマークデータセットでファインチューニングされており、優れた修復性能を発揮します。

PixelHackerの主な機能

• 高品質な画像復元自然風景や顔画像など、さまざまなデータセットにおいて非常に優れた性能を発揮し、リアルな復元コンテンツを生成します。
• 構造的および意味的な一貫性修復箇所が、質感、形状、色彩の点で周囲の環境と自然に調和し、景観に論理的に適合するようにしてください。
• 様々な状況に適応可能風景、顔、複雑な背景など、さまざまな種類の画像に高度に対応でき、複数の解像度とマスクタイプをサポートしています。

PixelHackerの技術的原則

• 潜在的カテゴリーガイダンス（LCG）この手法では、画像を前景と背景に分割し、潜在特徴を2つの固定サイズの埋め込みにエンコードします。これにより、特定のカテゴリラベルへの依存を回避できます。トレーニング中は、さまざまなマスク（ランダムブラシマスク、オブジェクト意味マスク、シーン意味マスクなど）を使用して画像とマスクのペアを作成し、前景または背景の埋め込みに割り当てます。
• 拡散モデルアーキテクチャ本モデルは、生成フレームワークとして拡散モデルに基づいています。拡散モデルは、段階的なノイズ除去処理を通して画像コンテンツを生成し、高品質で多様な画像を生み出します。ノイズ除去処理中、前景と背景の潜在特徴が線形アテンションを用いてモデルに注入されます。
• トレーニングと微調整PixelHackerは、1400万組の画像マスクペアを含む大規模なデータセットで事前学習されており、豊富な画像分布情報と意味情報を学習します。この事前学習に基づき、PixelHackerは複数のオープンソースベンチマークデータセット（Places2、CelebA-HQ、FFHQなど）で微調整され、特定のタスクやデータ分布に適応することで、パフォーマンスをさらに向上させています。
• 複数ステップの相互作用ノイズ除去の各ステップにおいて、線形アテンションを用いて前景と背景の潜在的特徴を現在の画像特徴と相互作用させることで、生成されたコンテンツが構造と意味の両面で周囲の環境と整合するようにします。
• 無料分類器ガイダンス（CFG）推論段階では、分類器を用いないガイダンス技術を用いてガイダンスの尺度を調整し、生成されるコンテンツの多様性と一貫性のバランスを取る。

PixelHackerプロジェクトのアドレス

• プロジェクト公式サイト：https://hustvl.github.io/PixelHacker/
• GitHubリポジトリ：https://github.com/hustvl/PixelHacker
• arXiv技術論文：https://arxiv.org/pdf/2504.20438

PixelHackerの応用事例

• 古い写真の修復傷、汚れ、欠損部分を自動的に補完し、写真の完全性を回復します。
• 関係のないオブジェクトを削除する背景を自然な状態に保つため、画像から不要な要素（歩行者や雑然としたものなど）を取り除いてください。
• クリエイティブコンテンツの生成これは、アーティストやデザイナーが広告、ポスター、または芸術作品制作のための高品質な画像を迅速に生成するのに役立ちます。
• 医用画像復元医療画像における欠損部分や損傷部分を補完することで、診断精度を向上させる。
• 文化遺産保護文化遺産や古文書の画像を復元し、欠落部分を補完することで、文化遺産の保存に貢献する。