Inf-DiT - 清華大学とZhipu AIが共同開発した超高解像度画像生成モデル - AiBoss

Inf-DiTとは何ですか？

清華大学とZhipu AIが開発したInf-DiTは、拡散モデルに基づいた画像アップサンプリング手法であり、超高解像度画像の生成が可能です。Inf-DiTは、単方向ブロックアテンション機構（UniBA）を導入することで、生成プロセスの空間計算量をO(N^2)からO(N)に削減し、従来の拡散モデルにおける大規模画像生成時の過剰なメモリ消費という問題を効果的に解決します。拡散トランスフォーマー（DiT）構造を用いることで、Inf-DiTは様々な形状と解像度の画像アップサンプリングタスクに対応できます。Inf-DiTは、グローバル画像埋め込みや、隣接する低解像度ブロックを用いたクロスアテンション機構など、複数の技術を用いて画像の局所的および全体的な一貫性を向上させ、生成画像の品質と一貫性をさらに高めます。実験結果によると、Inf-DiTは超高解像度画像生成と超解像タスクの両方において、最先端（SOTA）の性能を達成しています。

Inf-DiTの主な機能

超高解像度画像生成超高解像度画像を生成し、高解像度画像生成における従来の拡散モデルのメモリ制限を打破します。複雑なデザイン、広告、ポスター、壁紙など、細かいディテールと豊かな質感が求められる実用的な用途に適しています。
柔軟な画像アップサンプリング様々な形状や解像度の画像アップサンプリング処理に対応し、多様なニーズに対応した画像品質向上のための強力な技術サポートを提供します。
地域的および世界的な一貫性の向上この設計では、グローバル画像埋め込みや隣接する低解像度ブロックの相互注意機構など、さまざまな技術を取り入れることで、生成画像の局所的および全体的な一貫性を効果的に向上させ、生成画像が細部と全体構造の両方において期待を満たすようにしています。
ゼロサンプルテキスト制御機能ゼロサンプルテキスト制御機能を備えており、与えられたテキストプロンプトに基づいて生成画像を誘導および調整することで、生成画像の多様性と制御性を向上させます。

Inf-DiTの技術原理

単方向ブロックアテンションメカニズム (UniBA)画像は複数のブロックに分割され、これらのブロックは各拡散ステップ中にバッチ処理で順次生成されます。各バッチはブロックの一部を同時に生成し、メモリ容量が許せば任意の数のブロックを並列に生成できます。この仕組みにより、生成プロセスの空間計算量がO(N^2)からO(N)に削減され、メモリ消費量が効果的に削減されるとともに、生成される画像の最大解像度が向上します。
拡散コンバーター（DiT）の構造Inf-DiTは、拡散トランスフォーマー構造を基本アーキテクチャとしています。Vision Transformer（ViT）の利点を活用し、アテンションメカニズムを画像パッチ間の相互作用の主要な手段として用いることで、単方向ブロックアテンションメカニズムの実装を容易にし、モデルのパフォーマンスとスケーラビリティを向上させています。
グローバル画像埋め込み生成された画像の全体的な意味的一貫性を高めるために、Inf-DiTは事前学習済みのCLIPモデルに基づいて低解像度画像からグローバルな画像埋め込みを抽出し、それを拡散変換器の時間的埋め込みに追加することで、モデルが高レベルの意味情報から直接学習できるようにします。
隣接する低解像度ブロックの相互注意メカニズム高解像度画像を生成する際に不連続な画像が生成される確率を低減するために、Inf-DiTはトランスフォーマーの第1層で隣接する低解像度ブロック間の相互注意機構を導入し、各ブロックが周囲の3×3の低解像度ブロックに対して相互注意演算を実行できるようにすることで、隣接する低解像度情報をより適切に捉え、局所的な一貫性を向上させます。

Inf-DiTプロジェクトの住所

GitHubリポジトリ：https://github.com/THUDM/Inf-DiT
arXiv技術論文：https://arxiv.org/pdf/2405.04312

Inf-DiTの応用シナリオ

デザインおよびクリエイティブ分野建築の詳細や全体的なレイアウトを示す高解像度の建築レンダリングを作成することで、クライアントやデザイナーが設計案をより深く理解できるよう支援します。
エンターテインメントおよびメディア業界動画画像の解像度と鮮明度を向上させ、視覚効果を強化し、さまざまな再生メディアのニーズに対応します。
印刷・出版業界印刷品質を確保するため、低解像度の書籍イラストや表紙画像を印刷に適した高解像度にアップサンプリングします。
科学・研究分野医療画像の解像度を向上させ、医師がより正確に病状を診断・分析できるよう支援する。