CogView4は、Zhipuが開発したオープンソースのAIテキスト画像変換モデルで、中国語の文字生成をサポートしています。

CogView4とは何ですか？

Zhipuが開発したオープンソースのテキスト画像生成モデル「CogView4」は、60億ものパラメータを持ち、中国語入力と中国語テキスト生成に対応しています。DPG-Benchベンチマークテストでは1位を獲得し、オープンソースのテキスト画像生成モデルの中で最先端（SOTA）の性能を達成しました。CogView4は、Apache 2.0ライセンスに準拠した初の画像生成モデルであり、あらゆる解像度での画像生成に対応し、複雑なテキスト記述から高品質な画像を生成できます。

CogView4の主な機能

中国語と英語のバイリンガル入力に対応CogView4は、中国語の文字生成をサポートする初のオープンソースのテキスト画像変換モデルであり、中国語または英語のプロンプトに基づいて高品質の画像を生成できます。
任意解像度画像生成このモデルは、512×512から2048×2048までの解像度の画像生成をサポートしており、さまざまなシナリオにおけるクリエイティブなニーズに対応します。
強力な意味的アライメント機能DPG-Benchベンチマークテストにおいて、CogView4は総合スコアで1位を獲得し、複雑な意味的アライメントと指示の追従における優れた性能を実証しました。
漢字画CogView4は中国語テキスト生成に特化して最適化されており、中国語の文字を画像に自然に統合できるため、広告やショートビデオなどのクリエイティブ分野に適しています。
メモリ最適化と効率的な推論CogView4は、モデルのCPUオフロードやテキストエンコーダーの量子化といった技術を採用することで、GPUメモリの使用量を大幅に削減し、推論効率を向上させています。

CogView4の技術原理

建築設計CogView4は、拡散モデルとTransformerを組み合わせたアーキテクチャを採用しています。拡散モデルはノイズを段階的に除去することで画像を生成し、Transformerはテキストと画像の統合表現を処理します。このモデルは6Bパラメータ構成を採用しており、任意の長さのテキスト入力と任意の解像度での画像生成をサポートします。
テキストエンコーダーおよびトークナイザーCogView4は、中国語と英語の二言語に対応したGLM-4エンコーダーを使用しており、複雑な意味的アライメント処理に対応できます。テキストはトークナイザーによって埋め込みベクトルに変換され、その後、画像の潜在表現と組み合わされます。
画像のエンコードとデコード画像は変分オートエンコーダー（VAE）を用いて潜在空間の表現にエンコードされ、拡散モデルを用いた段階的なノイズ除去によって最終画像が生成されます。これにより、モデルは画像生成タスクを効率的に処理できるようになります。
拡散プロセスとノイズ除去拡散モデルの核心は、一連のノイズ除去ステップを通して画像を徐々に生成することです。CogView4 は FlowMatch Euler Discrete Scheduler を使用してノイズ除去プロセスを制御し、ユーザーはノイズ除去ステップの数を調整できます (num_inference_steps生成品質と速度のバランスを取るため。
多段階トレーニング戦略CogView4は、基本解像度トレーニング、一般解像度トレーニング、高品質データ微調整、および人間の好みに合わせたアライメントトレーニングを含む、多段階のトレーニング戦略を採用しています。これにより、生成される画像の品質と美的魅力が保証されます。
最適化と効率トレーニングと推論の効率を向上させるため、CogView4はモデルのCPUオフロードやテキストエンコーダーの量子化といったメモリ最適化技術を採用しています。このモデルはApache 2.0ライセンスをサポートしており、オープンソースコミュニティによるさらなる開発を促進します。

CogView4プロジェクトのアドレス

GitHubリポジトリ：https://github.com/THUDM/CogView4
ハギングフェイスモデルライブラリ：https://huggingface.co/THUDM/CogView4-6B

CogView4の公式事例研究

超長編ストーリー（4コマ漫画）：アニメ風のイラストスタイルで、4つのシーンを含む4コマ漫画を作成してください。主な登場人物は次のとおりです。シャオミン：勇敢な心を持つ人間の少年で、剣を振り回し、簡素な戦士の服を着ています。プリンセス：美しく優雅な人間の女性で、豪華な王女の衣装を身に着け、怪物の巣窟に囚われています。キング：威厳があり慈悲深い人間の男性で、豪華な王室のローブを身に着け、王国の玉座に座っています。フレイムドラゴン：炎のような鱗に覆われ、火を吐き、巨大な怪物です。ダークロード：闇に包まれた巨大な怪物で、強力な魔法の能力を持っています。

CogView4は、中国語と英語の文字をビジュアルにシームレスに統合できるため、ポスターやコピーライティングのイラスト作成がより便利になります。

彼らは中国語の指示を理解し、それに従うのが得意で、例えば、中国古典詩における芸術的な概念を絵に描くことができる。

CogView4の応用シナリオ

広告およびクリエイティブデザインCogView4は、中国語と英語の文字を画面に自然に統合し、高品質のポスター、コピーライティング、イラストなどを生成できるため、広告やクリエイティブデザイン分野のニーズを満たします。
教育リソースの作成このモデルは、教育分野向けの教材イラストや科学イラストなどを生成でき、学生が知識をよりよく理解し吸収するのに役立ちます。
子供向け絵本の制作CogView4は、子供向け絵本に適したイラストを生成し、子供たちの想像力を刺激することができます。
Eコマースとコンテンツ制作高品質な商品画像や広告ポスターなどを生成し、企業が魅力的なビジュアルコンテンツを迅速に作成できるよう支援します。
パーソナライズされたカスタマイズユーザーのニーズに基づいてカスタマイズされた画像コンテンツを生成し、ユーザーエクスペリエンスを向上させます。