HART - MITが開発した自己回帰型視覚生成モデル - AiBoss

HARTとは何ですか？

HART（Hybrid Autoregressive Transformer）は、MITの研究チームが開発した自己回帰型ビジュアル生成モデルです。拡散モデルに匹敵する品質で、1024×1024ピクセルの高解像度画像を直接生成できます。HARTはハイブリッドトークナイザー技術に基づいており、オートエンコーダーの連続潜在表現を離散トークンと連続トークンに分解します。離散トークンは画像の主要構造を捉え、連続トークンは詳細に焦点を当てます。HARTの軽量残差拡散モジュールは3700万個のパラメータしか使用しないため、計算効率が大幅に向上します。MJHQ-30Kデータセットでは、HARTは再構成FIDを2.11から0.30に、生成FIDを7.85から5.38に削減し、31%の改善を実現しました。スループットに関しては、既存の拡散モデルよりも4.5～7.7倍高く、MACは6.9～13.4倍削減されています。

HARTの主な機能

高解像度画像生成1024×1024ピクセルの高解像度画像を直接生成できるため、高品質なビジュアルコンテンツのニーズを満たすことができます。
画質の向上ハイブリッドトークナイザー技術に基づくHARTは、画像再構成および生成品質において従来の自己回帰モデルを凌駕し、拡散モデルに匹敵する性能を発揮する。
計算効率の最適化高画質を維持しながら、計算効率を大幅に向上させ、学習コストと推論遅延を削減します。
自己回帰モデル自己回帰法に基づき、画像は段階的に生成されるため、生成プロセスをより精密に制御できる。

HARTテクノロジーの原理

ハイブリッドトークナイザーHARTの中核となるのはハイブリッドトークナイザーであり、これはオートエンコーダーの連続的な潜在表現を離散トークンと連続トークンに分解します。離散トークンは画像の主要な構造を捉える役割を担い、連続トークンは細部に焦点を当てます。
離散自己回帰モデル離散部分は、解像度を拡張可能な離散自己回帰モデルによってモデル化されており、これによりモデルは異なる解像度で画像を生成することができる。
軽量残留拡散モジュール連続部分は、わずか3700万個のパラメータを持つ軽量な残差拡散モジュールによって学習され、モデルの効率向上に貢献する。
効率性とパフォーマンスのバランスHARTは、FIDおよびCLIPスコアにおいて既存の拡散モデルを凌駕し、スループットを4.5～7.7倍向上させ、MACを6.9～13.4倍削減することで、効率と性能の良好なバランスを実現しています。
自己回帰生成HARTは自己回帰的な手法に基づいており、各ステップは前のステップの出力に基づいて段階的に画像を生成するため、モデルは生成プロセス中に画像の詳細を徐々に洗練させることができます。

HARTプロジェクトの住所

プロジェクト公式サイト：hanlab.mit.edu/projects/hart
GitHubリポジトリ：https://github.com/mit-han-lab/hart
arXiv技術論文：https://arxiv.org/pdf/2410.10812
オンラインでデモを体験してください：https://hart.mit.edu/

HARTの適用シナリオ

デジタルアート制作アーティストやデザイナーは、イラスト、コンセプトアート、視覚効果など、高品質なデジタルアート作品を制作する。
ゲーム開発ゲームデザインにおいては、これはキャラクター、環境、小道具といったゲームアセットの高解像度画像を生成することを含む。
映画およびビデオ制作映画ポスター、コンセプトアート、またはビデオコンテンツ用の背景やエフェクトを生成します。
広告とマーケティングマーケティングチームは、魅力的な広告画像やマーケティング資料を迅速に作成できる。
ソーシャルメディアコンテンツユーザーはソーシャルメディアプラットフォーム向けに、パーソナライズされた画像やビジュアルコンテンツを作成する。