EvolveDirector - アリババと南洋理工大学が共同で、テキストから画像を生成するモデル向けの効率的なトレーニング技術を発表。 - AiBoss

EvolveDirectorとは何ですか？

EvolveDirectorは、アリババと南洋理工大学が共同で開発した革新的なフレームワークです。公開されているリソースと高レベルモデルのAPIインターフェースを活用し、高性能なテキストから画像への生成モデルをトレーニングします。このフレームワークは、既存の高レベルモデルとのAPI連携を通じてデータペアを取得し、ベースモデルをトレーニングした後、事前学習済みの大規模ビジュアル言語モデル（VLM）を用いてトレーニングデータセットを動的に最適化することで、必要なデータ量とトレーニングコストを大幅に削減します。EvolveDirectorは、複数の高レベルモデルによって生成された最適なサンプルを選択して学習に用いることができ、最終的にトレーニングされたモデルであるEdgeは、既存の高レベルモデルを様々な面で凌駕する性能を発揮します。

EvolveDirectorの主な機能

テキストから画像への生成テキストの説明を高画質の画像に変換します。
APIとの連携高度なテキスト画像変換モデルとのAPI連携に基づき、テキストと画像のデータペアを取得し、基本モデルの学習に使用します。
データセットの最適化: 事前学習済みの大規模視覚言語モデル（VLM）を用いて、インテリジェントな選択、拡張、削除、および突然変異操作に基づいて、トレーニングデータセットを動的に最適化します。
モデルの進化これは基本モデルの進化を導き、高度なモデルの生成をシミュレーションし、それを超える能力を備えている。
マルチモデル学習最適なサンプルは、学習のために複数の高レベルモデルから選択され、生成される画像の品質と多様性が向上します。
オンライン研修オンライン学習戦略に基づき、基本モデルは継続的に学習され、学習データセットは動的に更新される。

EvolveDirectoの技術原則

APIデータ取得高度なモデルの公開APIと連携することで、大量のテキストと画像のデータペアを取得します。
VLMの評価とガイダンス生成された画像は、事前学習済みのVLM（仮想言語モデル）を用いて評価され、テキストの説明に最もよく一致する画像が選択され、データセットの構築の指針となる。
動的データセットのメンテナンストレーニング中、VLMはベースモデルのパフォーマンスを継続的に評価し、評価結果に基づいてトレーニングデータセットを動的に更新します。
スマートセレクションVLMは、テキストプロンプトに最も一致する画像を選択し、高品質のデータを保持し、低品質または重複したデータを削除します。

EvolveDirectorプロジェクトのアドレス

GitHubリポジトリ：https://github.com/showlab/EvolveDirector
ハギングフェイスモデルライブラリ：https://huggingface.co/ruizhaocv/Edgen
arXiv技術論文：https://arxiv.org/pdf/2410.07133

EvolveDirectorの応用シナリオ

コンテンツ作成これにより、アーティストやデザイナーはイラスト、コンセプトアート、デザインプロトタイプなどを制作することができ、創作プロセスを加速させることができます。
メディアとエンターテインメント映画やゲーム業界では、リアルな背景、シーン、キャラクターを作成することができ、従来の描画やモデリングの作業量を軽減します。
広告とマーケティング広告画像やマーケティング資料を迅速に生成し、テキストの説明に基づいて魅力的なビジュアルコンテンツを素早く作成します。
ソーシャルメディアユーザーは、ソーシャルメディアプラットフォーム上で自己表現をするために、自身のアイデアに基づいたパーソナライズされた画像コンテンツを作成する。
教育と研究教育分野においては、学生や研究者が複雑な概念や理論を視覚的に理解するのに役立つ。