CogView3 - Zhipu AIが発表したオープンソースのAI画像生成モデル

CogView3とは何ですか？

CogView3は、清華大学とZhipu AIが共同開発したオープンソースのAI画像生成モデルで、リレー拡散技術を採用しています。このモデルは段階的に画像を生成します。まず低解像度画像を生成し、次にリレー超解像技術を用いて高解像度画像にアップスケールすることで、生成効率を向上させ、コストを削減します。CogView3は、既存のオープンソースモデルSDXLを生成品質と速度の両面で凌駕し、推論時間を大幅に短縮しながら画像の詳細を保持します。さらに、CogView3の簡略版は、SDXLの推論時間のわずか10分の1で同等の性能を維持しており、画像生成分野において大きな優位性を示しています。

CogView3の主な機能

• リレー拡散技術画像は段階的に生成される。まず低解像度の画像が作成され、次にリレー超解像技術に基づいて高解像度にアップスケールされる。
• 高性能人間による評価では、CogView3は生成品質と推論速度の両面で、既存の最先端モデルであるSDXLを凌駕する性能を示した。
• 高効率CogView3の推論時間はSDXLの約半分であり、その簡略版は10倍高速です。
• マルチ解像度対応512×512から2048×2048までの解像度の画像を生成します。

CogView3の技術原理

• カスケード型フレームワーク多段階生成プロセスを採用し、カスケード方式に基づいて画像解像度を段階的に向上させる。
• リレー拡散低解像度画像を生成した後、ガウスノイズを加え、中継点から拡散処理を開始して高解像度画像を生成する。
• ゼロSNR拡散ノイズスケジューリング生成される画像の品質と速度を向上させるために、最適化されたノイズスケジューリング手法が用いられています。
• テキストと画像の同時注意機構テキスト情報と画像情報を組み合わせることで、生成された画像とテキストによる説明との一貫性を向上させるためのアテンションメカニズムが用いられる。
• 変分オートエンコーダー（VAE）VAE（可変オートエンコーダー）は、高次元のピクセル空間を低次元のポテンシャル空間に圧縮するために使用でき、計算コストを削減できる。
• 蒸留技術蒸留プロセスに基づき、生成されるデータの品質を維持しながら、モデル推論に必要なサンプリング手順を削減する。

CogView3プロジェクトのアドレス

• GitHubリポジトリ：https://github.com/THUDM/CogView3
• arXiv技術論文：https://arxiv.org/pdf/2403.05121
• CogView-3-Plus：
• Zhipu Qingyan 製品体験：

CogView3の応用シナリオ

• 芸術創作アーティストやデザイナーは、CogView3を使用して、独自の芸術作品やデザインスケッチを作成し、創造的なインスピレーションの出発点としています。
• デジタルエンターテインメントゲームや映画制作において、モデルはシーンのコンセプトアートやキャラクターデザインを迅速に生成するために活用でき、プリプロダクションのプロセスを加速させる。
• 広告とマーケティングマーケターはCogView3を使用して、さまざまなマーケティングチャネルの視覚的なニーズを満たす魅力的な広告画像をデザインします。
• バーチャル試着ファッション業界では、ユーザーはCogView3を使用して、画像をアップロードし、スタイルを選択することで、服の試着効果を生成することができます。
• パーソナライズされたギフトのカスタマイズカスタマイズ可能なTシャツ、マグカップ、スマホケースなど、ユーザーに合わせたギフトデザインを提供し、画像生成を通じて個々のニーズに応える。