project
Infinity - ByteDanceの高解像度画像生成モデル
Infinityは、ByteDanceが開発した、ビットレベルの自己回帰モデリングに基づくビジュアル生成モデルで、言語指示に基づいて高解像度でリアルな画像を生成できます。Infinityは、無限の語彙を持つタガー、分類器、ビットレベルの自己修正機能を活用しています。
無限とは何か？
ByteDanceが開発したInfinityは、ビットレベルの自己回帰モデリングに基づいたビジュアル生成モデルで、言語命令から高解像度でリアルな画像を生成できます。Infinityは、無限の語彙を持つタガー、分類器、ビット自己修正メカニズムにより、生成画像の詳細度と品質を大幅に向上させ、既存のトップティア拡散モデルを凌駕します。わずか0.8秒で高品質な1024×1024ピクセルの画像を生成し、SD3-Mediumの2.6倍の速さを実現するとともに、推論速度も向上しています。Infinityは、自己回帰型テキスト画像生成モデルの新たな性能基準を確立しました。
Infinityの主な機能
- テキストから画像への合成ユーザーがテキストによる説明を入力すると、システムがそれに対応する画像コンテンツを生成します。
- 空間推論画像を生成する際には、画像の空間的な配置が適切であることを確認するために、空間的な関係性を考慮する必要がある。
- テキストレンダリング画像内にテキストをレンダリングし、ユーザーの指示に従ってフォント、スタイル、色などを調整します。
- 複数のスタイルとアスペクト比に対応可能多様な視覚効果のニーズを満たすために、さまざまなスタイルとアスペクト比の画像を生成します。
インフィニティの技術原理
- 視覚的自己回帰モデリングビットレベル予測フレームワークは、ラベル付け器と分類器の無限の語彙を用いて、視覚的自己回帰モデルを再定義する。
- 無制限の語彙マーカーこれにより、タグ付けツールの語彙が無限に拡張され、量子化誤差が低減され、詳細を再構築する能力が向上します。
- 位置自己補正機構トレーニング中、予測誤差をシミュレートするために一部のビットがランダムに反転され、残差特徴量が再量子化されることで、システムは自己修正能力を備える。
- 変圧器延長変圧器のサイズを大きくすることで、このモデルの発電能力が向上する。
- 連続的な特徴を定量化する連続的な特徴量をインデックスラベルに量子化し、ビットラベル（量子化された特徴量）を通して安定した監視信号を提供する。
インフィニティプロジェクトの住所
- プロジェクト公式サイト：foundationvision.github.io/infinity
- GitHubリポジトリ：https://github.com/FoundationVision/Infinity
- ハギングフェイスモデルライブラリ：https://huggingface.co/FoundationVision/Infinity
- arXiv技術論文：https://arxiv.org/pdf/2412.04431
無限の応用
- デジタルアート制作アーティストやデザイナーは、独自のデジタルアート作品やデザインプロトタイプを制作する。
- ゲーム開発ゲームデザインにおいては、ゲーム環境、キャラクターのコンセプトアート、その他の視覚要素を迅速に生成することを可能にする。
- 映画・エンターテインメント業界映画のシーンコンセプトアート、特殊効果の背景、アニメーションのプレビューなどを作成するために使用されます。
- 広告とマーケティング広告コピーに基づいて魅力的な広告画像を迅速に生成し、マーケティング資料の魅力を高めます。
- ソーシャルメディアコンテンツユーザーがソーシャルメディアへの投稿用に生成するパーソナライズされた画像。例えば、InstagramやTwitterの投稿に付随する画像など。