xGen-MM - Salesforceが発表したオープンソースのマルチモーダルAIモデル

xGen-MMとは何ですか？

xGen-MMは、Salesforceが開発したオープンソースのマルチモーダルAIモデルです。インターリーブされたデータを処理する能力を持ち、テキストや画像など複数のデータタイプを同時に理解・生成できます。大量の画像とテキスト情報から学習することで、xGen-MMは視覚言語タスクにおいて優れた性能を発揮するだけでなく、オープンソースのモデル、データセット、ファインチューニングコードライブラリを通じて、モデル機能の継続的な向上を促進します。

xGen-MMの主な機能

• マルチモーダルな理解xGen-MMは画像情報とテキスト情報を同時に処理・理解することができ、視覚コンテンツに関する質問への回答をサポートします。
• 大規模データ学習xGen-MMは、多様で大量のデータを用いたトレーニングを通じて、豊富な視覚的および言語的パターンを捉えることができる。
• 高性能発電xGen-MMは入力情報を理解するだけでなく、画像に基づいて説明文や回答を作成するなど、テキストを生成することもできます。
• オープンソースでアクセス可能xGen-MMのモデル、データセット、およびコードはオープンソースであり、研究者や開発者はこれらのリソースに自由にアクセスして利用し、独自のアプリケーションを構築することができます。
• 微調整機能ユーザーは、さまざまなアプリケーションシナリオに対応するために、それぞれのニーズに合わせてxGen-MMを細かく調整できます。

xGen.MMプロジェクトのアドレス

• GitHubリポジトリ：https://github.com/salesforce/LAVIS/tree/xgen-mm
• ハグ顔モデルライブラリ：https://huggingface.co/Salesforce/xgen-mm-phi3-mini-instruct-interleave-r-v1.5
• arXiv技術論文：https://arxiv.org/pdf/2408.08872

xGen-MMの技術原理

• マルチモーダル学習xGen-MMは、画像データとテキストデータの両方を同時に理解するように学習させることができ、視覚情報と言語情報の融合を実現します。
• 大規模データセットこのモデルは、豊富な画像とそれに対応する説明を含む、大規模で多様なデータセットで学習されています。
• ビジュアルトークンサンプラーxGen-MMは、効率的なビジュアルトークンサンプラー（Perceiverアーキテクチャなど）を使用して画像データを処理するため、モデルはさまざまな解像度の画像をスケーラブルに処理できます。
• 事前学習済み言語モデルこれは、大量のテキストデータで学習され、高い言語理解能力を持つ、事前学習済みの大規模言語モデル（Phi-3モデルなど）を組み合わせたものです。
• 統一された訓練目標この手法は、単一の自己回帰損失関数を用いてモデルを訓練することで訓練プロセスを簡素化し、マルチモーダルな文脈におけるテキストトークンの予測に焦点を当てています。
• コマンドの微調整このモデルは、指示によって微調整することで、ユーザーのクエリをよりよく理解し実行できるようになり、また、事前学習済みのモデルに対して特定のタスク向けの追加学習を実行することも可能です。
• トレーニング後の最適化これには、モデルの有用性を向上させ、錯覚効果を軽減し、安全性を高めるための直接選好最適化（DPO）と安全性微調整が含まれます。
• オープンソースとカスタマイズ性xGen-MMのコード、モデル、データセットはすべてオープンソースであり、コミュニティメンバーはそれぞれのニーズに合わせてカスタマイズしたり、さらに開発を進めたりすることができます。

xGen-MMの応用シナリオ

• 画像の説明生成画像の説明文を自動生成します。ソーシャルメディアやフォトアルバムの管理などに最適です。
• ビジュアルQ&A教育分野やeコマース分野における製品情報の提供など、画像コンテンツに関する質問に答える。
• 文書の理解文書内の画像とテキストを解析・理解する機能を持ち、自動文書処理や情報検索に適しています。
• コンテンツ作成ストーリーボードの自動生成やコンセプトアートのデザインなど、ユーザーの創作プロセスを支援します。
• 情報検索画像とテキストを組み合わせることで、検索結果の関連性と精度を向上させることができる。