Liquid - 華中科技、ByteDance、香港大学が共同で立ち上げた、統一されたマルチモーダル生成フレームワーク。 - AiBoss

液体とは何か？

Liquidは、華中科技大学、ByteDance、香港大学が共同開発した、ミニマルで統一されたマルチモーダル生成フレームワークです。VQGANをベースとし、画像をテキストトークンと同じ語彙空間を共有する離散的なビジュアルトークンにエンコードします。これにより、大規模言語モデル（LLM）は構造的な変更を加えることなく、ビジュアル生成と理解を実現できます。Liquidは従来の外部ビジョンモジュールを廃止し、マルチモーダルタスクにLLMのセマンティック理解機能を活用することで、トレーニングコストを大幅に削減します（ゼロからトレーニングする場合と比較して100分の1）。ビジュアル生成と理解タスクにおいて非常に優れた性能を発揮し、一部の拡散モデルを凌駕します。Liquidはマルチモーダルタスクのスケールダイナミクスを明らかにし、モデルサイズが大きくなるにつれて、ビジュアルタスクと言語タスクの間の矛盾が徐々に解消され、両者が相互に強化し合うことさえあることを示しています。

Liquidの主な機能

ビジュアル生成テキストによる説明に基づいて、複数の解像度とスタイルに対応した高品質な画像を生成できます。
視覚的理解画像関連のタスク（視覚的質問応答（VQA）や画像説明生成など）を処理する。
マルチモーダル融合視覚タスクと言語タスクをシームレスに統合し、テキスト生成、画像生成、視覚理解タスクの同時処理をサポートします。
高効率拡張既存の大規模言語モデル（LLM）に基づいており、少量のデータと低コストで学習させることができ、マルチモーダル機能を迅速に拡張できる。
言語能力の保持視覚生成能力を強化しつつ、強力な言語生成・理解能力も維持しているため、マルチモーダルなハイブリッドタスクに適している。

Liquidの技術的原則

画像トークナイザーVQGAN（ベクトル量子化生成敵対ネットワーク）は、画像を離散的な視覚トークンにエンコードします。視覚トークンとテキストトークンは同じ語彙空間を共有するため、画像とテキストを統一的に処理することが可能です。
統合機能空間視覚トークンとテキストトークンは同じ特徴空間で学習され、「次のトークン予測」タスクに基づいてトレーニングされます。これにより、視覚タスクと言語タスク間でモデルをシームレスに切り替え、最適化することが可能になります。
LLMベースの生成Liquidは、既存の大規模言語モデル（LLM）を拡張し、強力な意味理解機能に基づいて視覚的な生成と理解を実行します。LLMに視覚トークンの埋め込みを追加することで、追加の視覚モジュール（CLIPや拡散モデルなど）を必要とせずに視覚タスクを処理できます。
マルチモーダルデータトレーニングこのモデルは、混合データ（テキストデータと画像・テキストペア）を用いて事前学習されており、言語タスクと視覚タスクの両方を同時に学習できます。その後、データ比率を調整することで、さまざまなタスクにおけるモデルのパフォーマンスを最適化します。
双方向のプロモーションメカニズム視覚生成タスクと視覚理解タスクは、共通のトークン空間を共有し、一貫した最適化目標を持ち、互いに促進し合うことができます。視覚生成タスクまたは視覚理解タスクのデータ量を増やすことで、もう一方のタスクにおけるモデルのパフォーマンスを向上させることができます。

Liquidのプロジェクトアドレス

プロジェクト公式サイト：https://foundationvision.github.io/Liquid/
GitHubリポジトリ：https://github.com/FoundationVision/Liquid
ハギングフェイスモデルライブラリ：https://huggingface.co/Junfeng5/Liquid
arXiv技術論文：https://arxiv.org/pdf/2412.04332
オンラインでデモを体験してください：https://huggingface.co/spaces/Junfeng5/Liquid_demo

Liquidの応用シナリオ

クリエイティブデザインテキストの説明に基づいて高品質な画像を生成し、芸術作品の制作、広告デザイン、ゲームアート制作を支援します。
コンテンツ作成ソーシャルメディア、ブログ、ニュース記事で使用するために、テキストに関連する画像を自動的に生成します。
ビジュアルQ&A画像の内容を理解し、関連する質問に答えることができるため、教育、顧客サービス、インテリジェントアシスタントなどの分野で活用できる。
マルチモーダル対話画像とテキストを組み合わせたインテリジェントな対話システムにより、対話システムの自然さと使いやすさを向上させることができる。
VR/ARアプリケーション没入感とインタラクティブな体験を向上させるために、仮想シーンやオブジェクトを生成します。