ParGo - ByteDanceと中山大学が共同で立ち上げた、マルチモーダルな大規模モデルコネクタ

ParGoとは何ですか？

ParGoは、ByteDanceが中山大学と共同で提案した革新的なマルチモーダル大規模言語モデルコネクタです。マルチモーダル大規模言語モデル（MLLM）における視覚モダリティと言語モダリティの整合性を向上させます。ローカルトークンとグローバルトークンを組み合わせ、綿密に設計されたアテンションマスクを用いてそれぞれローカル情報とグローバル情報を抽出することで、トークン数を制御しながらローカル領域間の関係性のモデリングを強化します。画像の詳細とグローバルな視点の両方を考慮することで、従来の手法で詳細が見落とされがちだった問題を克服しています。

ParGoの主な機能

• 視覚と言語のモダリティを効率的に連携させるParGoは、グローバルな視点とローカルな視点を組み合わせたアプローチを採用しています。部分グローバル知覚ブロック（PGP）とカスケード部分知覚ブロック（CPP）という2つの主要モジュールを通して、視覚的特徴を部分トークンとグローバルトークンにそれぞれマッピングし、画像からローカル情報とグローバル情報を抽出します。これにより、視覚的特徴と大規模言語モデル（LLM）との効率的な連携が実現し、従来の手法で顕著な領域に過度に焦点を当ててしまうという問題を克服します。
• マルチモーダル大規模言語モデルのパフォーマンスを向上させるParGoは、複数のMLLMベンチマークにおいて非常に優れた性能を発揮します。例えば、MMEベンチマークでは、従来のQ-Formerプロジェクターと比較して259.96%の性能向上を実現しています。特に、細部の認識を重視するタスクにおいて、ParGoは他のプロジェクターを大きく凌駕し、より正確なテキスト認識、より優れた画像ディテールの描写、そしてより効果的な局所要素の識別を実現しています。
• 自己教師あり学習は、文脈理解を向上させる。トレーニング段階で自己教師あり学習戦略を導入することで、遮蔽された部分の内容を予測し、モデルのコンテキスト理解力を向上させることができます。これにより、モデルの汎化性能が向上し、大規模なラベル付きデータへの依存度が低減されます。

ParGoの技術原則

• グローバルとローカルの視点ParGoは、注意機構に基づいた2種類の学習可能なトークンを用いて、局所的および全体的な両方の観点から視覚的特徴を大規模言語モデル（LLM）にマッピングします。
• Partial-Global Perception Block (PGP)ParGoでは、ビジュアルエンコーダーの特徴が2種類のトークン（部分トークンとグローバルトークン）にマッピングされ、それぞれ画像の局所情報と全体情報を抽出できます。
  • Partial tokens各トークンは視覚的特徴の一部のみと相互作用し、画像の局所的な情報に焦点を当てます。
  • Global tokensグローバルトークンは、すべての視覚的特徴と相互作用して、画像に関するグローバル情報を取得します。
• Cascaded Partial Perception Block (CPP)ParGoは、部分全体知覚モジュールに先立ち、カスケード部分知覚（CPP）モジュールを導入しました。CPPモジュールの核となるのは、特別に設計されたマスクを備えた自己注意機構です。レイヤー数が増えるにつれて、各部分トークンはより多くの近傍トークンにアクセスできるようになり、知覚範囲が徐々に拡大します。
• 自己指導型学習戦略トレーニング段階において、ParGoは自己教師あり学習戦略を導入しました。これは、遮蔽された部分の内容を予測することで、モデルが文脈を理解する能力を高めるものです。

ParGoのプロジェクト住所

• GitHubリポジトリ：https://github.com/bytedance/ParGo
• arXiv技術論文：https://arxiv.org/pdf/2408.12928

ParGoのアプリケーションシナリオ

• 視覚的な質問応答システムParGoは画像内の視覚的な手がかりを理解し、テキスト内の意味情報を解析することができ、視覚的な質問応答タスクにおいて非常に優れた性能を発揮します。
• 画像キャプション生成ParGoは、特にCOCOキャプションなどのタスクにおいて優れた性能を発揮し、高品質な画像キャプションを生成します。画像全体の情報を記述できるだけでなく、局所的な詳細情報も捉えることができ、より正確で豊かなキャプションを作成できます。
• クロスモーダル検索ParGoは、クロスモーダル検索タスクに使用でき、ユーザーがテキストクエリを通じて関連画像を見つけたり、画像クエリを通じて関連テキストを見つけたりするのに役立ちます。
• 感情分析ParGoは画像やテキストに含まれる感情情報を理解できるため、感情分析タスクにおいてより正確な結果を得ることができます。画像コンテンツの理解：ParGoは画像コンテンツの理解タスクにも使用でき、システムが画像内の詳細情報や全体像をよりよく理解するのに役立ちます。