SANA 1.5 - NVIDIAがMIT、清華大学、北京大学、その他の機関と共同で発表した、テクスチャグラフのための新しいフレームワーク。

SANA 1.5とは何ですか？

SANA 1.5 は、NVIDIA が MIT、清華大学、北京大学などの研究機関と共同で開発した、テキストから画像への生成タスク向けの高効率な線形拡散トランスフォーマーです。SANA 1.0 をベースに、3 つの主要な革新が導入されています。1つ目は、効率的なトレーニングスケーリングです。これは、ディープ成長パラダイムによってモデルを 16 億のパラメータから 48 億のパラメータに拡張し、計算リソースを大幅に削減するとともに、効率的な 8 ビットオプティマイザを組み込んでいます。2つ目は、ディープモデルプルーニングです。これは、ブロックの重要性を分析することでモデルを効率的に圧縮し、さまざまな計算予算の下でモデルサイズを柔軟に調整できるようにします。3つ目は、推論時のスケーリングです。これは、繰り返しサンプリングとビジュアル言語モデル (VLM) に基づく選択メカニズムによって、推論中に小さなモデルで大きなモデルと同等の品質を実現できるようにします。

SANA 1.5の主な機能

• 高効率トレーニング拡張機能SANA 1.5は、ディープグロースパラダイムを採用しており、モデルのパラメータ数を16億から48億まで拡張できるため、計算リソースを大幅に削減できます。
• モデル深度剪定SANA 1.5では、ブロック重要度分析に基づくモデル圧縮技術が導入されました。この技術により、大規模モデルを品質劣化を最小限に抑えながら、任意のサイズに効率的に圧縮できます。拡散変換器の入力と出力の類似性パターンを分析することで、重要でないブロックが削除され、微調整によってモデルの品質が迅速に回復されます。
• 推論中の拡張SANA 1.5では、推論時のスケーリング戦略が導入され、繰り返しサンプリングとビジュアル言語モデル（VLM）に基づく選択メカニズムによって、小規模モデルでも推論時に大規模モデルと同等の品質を実現できるようになりました。
• 多言語対応SANA 1.5は、中国語、英語、絵文字を含む多言語テキスト入力をサポートしており、グローバルなコンテンツ作成やローカライズされたデザインに適しています。
• オープンソースとコミュニティサポートSANA 1.5のコードと事前学習済みモデルはオープンソース化されており、研究者や開発者がそれらをカスタマイズおよび拡張できるため、学術研究や産業用途におけるSANA 1.5の採用がさらに促進される。
• 推論効率CAME-8ビットオプティマイザを搭載したSANA 1.5は、単一のコンシューマーグレードGPU上で大規模なモデルの微調整を可能にし、高品質な画像生成をより効率的かつ容易にします。

SANA 1.5 パフォーマンス テスト

• モデルの成長SANA 1.5は、モデル成長戦略によってパラメータ数を16億から48億に拡大し、GenEvalスコアを0.66から0.72に向上させ、業界をリードするPlayground v3（24億パラメータ）の0.76に迫るとともに、推論レイテンシを5.5倍削減しました。
• モデルの剪定SANA 1.5は、ディーププルーニングにより、さまざまな計算予算に応じてモデルサイズを柔軟に調整できます。例えば、48億個のパラメータを持つモデルを16億個のパラメータにプルーニングし、100回の微調整を行った後、GenEvalスコアは0.672に達し、SANA 1.0の16億個のパラメータを持つモデルの0.664を上回りました。
• 推論スケーリングSANA 1.5は、複数のサンプルを生成し、VLMに基づいて最適なサンプルを選択することで、GenEvalスコアを0.72から0.80に向上させ、Playground v3の0.76を上回りました。

SANA 1.5プロジェクトのアドレス

• arXiv技術論文：https://arxiv.org/pdf/2501.18427

SANA 1.5のアプリケーションシナリオ

• クリエイティブデザインSANA 1.5はテキストプロンプトに基づいて高品質な画像を生成できるため、広告デザイン、イラスト、ゲームアートなどのクリエイティブなデザイン分野に適しています。
• 教材教師はSANA 1.5を使用して、授業に関連した画像を生成し、生徒が抽象的な概念をよりよく理解できるように支援することができます。
• 映画およびテレビ制作映画やテレビ制作において、SANA 1.5はコンセプトアートやシーンデザイン図などを生成し、監督や美術監督がアイデアを迅速に構想・検証するのに役立ちます。
• エンジニアリング設計エンジニアはSANA 1.5を使用してエンジニアリング設計の視覚的なレンダリングを生成することができ、これによりチームは設計意図をより深く理解し、設計ソリューションを最適化することができます。
• モバイルアプリケーションSANA 1.5は、徹底的なモデルプルーニングと推論時間のスケーリングにより、モバイルデバイス上で効率的に動作し、モバイルアプリケーション向けにリアルタイムの画像生成機能を提供します。
• コンテンツモデレーションSANA 1.5は、セキュリティ検査モデル（ShieldGemma-2Bなど）を組み合わせることで、画像を生成する前にユーザーが入力したテキストをレビューし、生成されたコンテンツがセキュリティ基準を満たしていることを保証し、不適切なコンテンツの生成を回避することができます。