MetaMorph - マルチモーダルな理解を統合し、大規模モデルを生成する。VPiTに基づいてマルチモーダルトークンを予測する。

MetaMorphとは何ですか？

MetaMorphは、指示チューニングによって視覚的理解と生成を実現するマルチモーダル大規模モデル（MLLM）です。本モデルは、事前学習済みの大規模言語モデル（LLM）を、テキストとビジュアルトークンを生成できる統一された自己回帰モデルに迅速に変換できる、視覚予測指示チューニング（VPiT）と呼ばれる手法を提案しています。MetaMorphモデルは、視覚的理解とビジュアル生成の両方のベンチマークで優れた性能を発揮し、LLMの事前学習から得られた世界知識と推論能力を活用することで、ビジュアル生成プロセスにおける他の生成モデルの一般的な失敗モードを克服しています。研究によると、LLMは、比較的単純な指示チューニングプロセスを通じて、視覚的理解と生成に効率的に適応できる強力な「事前」ビジュアル能力を備えている可能性があることが示唆されています。

MetaMorphの主な機能

• マルチモーダルな理解と生成MetaMorphは、視覚予測命令チューニング（VPiT）技術を使用して、事前学習済みの大規模言語モデル（LLM）を、テキストとビジュアルトークンを生成できる統一された自己回帰モデルに迅速に変換し、マルチモーダルな理解と生成を実現します。
• 視覚生成機能MetaMorphは、LLMの事前学習から得られた世界知識と推論能力を活用することで、視覚生成における一般的な失敗モードを克服します。
• 暗黙的推論の実行MetaMorphは、視覚トークンを生成する前に、プロンプトに基づいて対応する画像を生成するなど、推論ステップを暗黙的に実行できます。
• 専門用語の扱い方テキスト埋め込みモデルのCLIPやT5と比較して、MetaMorphは技術用語をより効果的に処理し、正確なビジュアルタグを生成します。
• 統一モデリング手法MetaMorphは、モデルがLLMの力を活用して、事前学習済みのLLMから知識を抽出できるようにする、統一的なモデリング手法を示しています。
• 競争力のパフォーマンスMetaMorphは、視覚理解と視覚生成の両方のベンチマークにおいて、他の統合モデルを凌駕する優れた性能を達成した。

MetaMorphの技術原則

• Visual-Predictive Instruction Tuning (VPiT)これは、視覚的な指示を調整するためのシンプルかつ効果的な方法であり、事前学習済みの大規模言語モデル（LLM）を、テキストと視覚的なトークンを生成できる統一された自己回帰モデルに迅速に変換することを可能にする。
• マルチモーダルトークン予測VPiTは、指示に従う形式で構成された画像データとテキストデータの入力シーケンスから、離散的なテキストタグと連続的なビジュアルタグを予測するようにLLMを訓練します。
• 視覚生成能力と視覚理解の関係研究によると、視覚生成能力は視覚理解の向上に伴う自然な副産物として出現し、少量の生成データによって効率的に引き出すことができることが分かっている。
• 理解と生成の非対称性視覚トークンを理解する能力と生成する能力は相互に関連しているが、非対称的である。理解するデータ量を増やすことで、視覚的な理解と生成のパフォーマンスをより効果的に向上させることができる一方、トークンを生成するデータ量を増やすことで生成品質は向上するものの、視覚的な理解の向上への影響は小さい。
• 統一モデルトレーニング上記の知見に基づき、MetaMorphモデルはVPiTを使用してマルチモーダルトークンを予測し、視覚的な質問応答データセットや、テキスト注釈のない画像およびビデオデータなど、さまざまなデータソースでトレーニングされています。
• 事前研修を受けたLLMに関する知識MetaMorphは、LLMの事前学習から得られた世界知識と推論能力を活用することで、他の生成モデルにおける視覚生成プロセス中の一般的な失敗モードを克服することができる。

MetaMorphプロジェクトのアドレス

• プロジェクト公式サイト：https://tsb0601.github.io/metamorph/
• arXiv技術論文：https://arxiv.org/pdf/2412.14164v1

MetaMorphの応用シナリオ

• 視覚的理解と視覚的生成視覚的な質問応答データセットや、テキスト注釈のない画像および動画データなど、さまざまなデータソースを活用して、指示チューニング（VPiT）によるマルチモーダルトークンの予測を行います。
• 知識抽出とビジュアルトークン生成MetaMorphは、事前学習済みの大規模言語モデル（LLM）から知識を抽出し、視覚トークンを生成する前に暗黙的に推論ステップを実行できます。例えば、「オオカバマダラの幼虫が変態した後の動物」というプロンプトが与えられると、MetaMorphは蝶の画像を正しく生成します。
• 技術用語と意味論上の課題への対処MetaMorphは、CLIPやT5といったテキスト埋め込みモデルよりも、技術用語や否定、主観性といった一般的な意味論上の課題をより効果的に処理します。
• マルチモーダル生成推論MetaMorphは、「国立公園はここにあります」といったパズルのヒントに基づいて画像を生成できます。思考連鎖（CoT）のヒントを使わずに、ヒントを直接使用して「パズル画像を生成」することも可能です。また、複数の推論ステップを必要とするヒントから正しい画像を生成することもできます。
• 視覚パズルを解くMetaMorphは、暗黙的な推論を必要とする視覚的なパズルを解くことができます。例えば、「特殊相対性理論を提唱した科学者が通常演奏する楽器は何ですか？」という質問に答える場合、モデルはアインシュタインを暗黙的に識別し、彼が好んで演奏する楽器がバイオリンであることを認識し、正しい視覚的なトークンを直接生成する必要があります。