PixelFlow - 香港大学とAdobeが共同開発した画像生成モデル。

PixelFlowとは何ですか？

香港大学とAdobeが共同開発した画像生成モデル「PixelFlow」は、ピクセル空間での直接的な画像生成をサポートします。効率的なカスケードフローモデリングに基づき、PixelFlowは低解像度から高解像度へと段階的にスケールアップすることで、計算コストを削減します。PixelFlowは、ImageNetの256×256カテゴリ条件付き画像生成タスクにおいて、FIDスコア1.98を達成し、優れた画質と意味制御能力を実証しました。また、テキストから画像への生成タスクにおいても優れた性能を発揮し、テキスト記述と高い整合性を持つ高品質な画像の生成をサポートします。PixelFlowのエンドツーエンドの学習可能性と効率的なマルチスケール生成戦略は、次世代ビジュアル生成モデルのための新たな研究方向性を示しています。

PixelFlowの主な機能

• 高品質な画像生成高解像度・高画質画像の生成をサポートします。
• カテゴリに基づく条件付き画像生成指定されたカテゴリラベルに基づいて、対応する画像を生成します。
• テキストから画像への生成テキストによる説明に基づいて対応する画像を生成し、複雑な意味理解と視覚的表現をサポートします。

PixelFlowの技術的原理

• ストリームマッチングストリームマッチングは、一連の線形パスを用いて、事前分布（標準正規分布など）からのサンプルを段階的にターゲットデータ分布からのサンプルに変換する生成モデリング手法です。トレーニング中は、線形補間に基づいてトレーニングサンプルが構築され、モデルは中間サンプルから実際のデータサンプルへの変換速度を予測するように学習されます。
• マルチスケール生成この手法では、多段階のノイズ除去処理によって画像解像度を段階的に向上させていきます。各段階では、低解像度のノイズの多い画像から始め、目標解像度に達するまで徐々に解像度を上げていきます。この段階的な解像度向上方式により、すべてのノイズ除去処理をフル解像度で行う必要がなくなり、計算コストを大幅に削減できます。
• トランスフォーマーアーキテクチャ：
  • Patchify入力画像の空間表現を1次元シーケンスのラベルに変換します。
  • RoPE（Rotary Position Embedding）異なる画像解像度に適切に対応できるよう、元の正弦波と余弦波の位置符号化をRoPEに置き換えます。
  • 解像度埋め込み: 異なる解像度を区別するために、追加の解像度埋め込みを導入する。
  • テキストから画像への生成各Transformerブロックには、視覚的特徴をテキスト入力と整合させるためのクロスアテンションレイヤーが導入されています。
• エンドツーエンドのトレーニング本モデルは、事前学習済みのVAEやその他の補助ネットワークを必要とせず、統一されたパラメータセットに基づいてピクセル空間で直接学習を行います。学習中、モデルはすべての解像度段階から学習データを均一にサンプリングし、シーケンスパッキング技術を用いて共同学習を実行することで、学習効率とモデルのスケーラビリティを向上させます。
• 効率的な推論戦略PixelFlowは推論時に、最低解像度のガウスノイズから開始し、徐々にノイズを除去して解像度を上げ、目標解像度に到達します。また、オイラー法やDopri5法など、複数の常微分方程式ソルバーをサポートしており、ユーザーは必要に応じて速度と生成品質のバランスを取るために異なるソルバーを選択できます。

PixelFlowプロジェクトのアドレス

• GitHubリポジトリ：https://github.com/ShoufaChen/PixelFlow
• arXiv技術論文：https://arxiv.org/pdf/2504.07963
• オンラインでデモを体験してください：https://huggingface.co/spaces/ShoufaChen/PixelFlow

PixelFlowの応用シナリオ

• 美術とデザイン創造的な絵画、グラフィックデザイン要素、そしてバーチャルキャラクターを生成します。
• コンテンツ作成動画制作、ゲーム開発、ソーシャルメディアコンテンツ制作を支援します。
• 教育と研究教育ツールとして、複雑な概念の理解を助け、科学研究の視覚化を支援する。
• ビジネスとマーケティング製品デザインのプロトタイプ、広告画像、ブランドプロモーションコンテンツを作成する。
• エンターテイメントと交流インタラクティブなストーリーテリング、VR/ARコンテンツの生成、パーソナライズされた画像カスタマイズなどに使用されます。