Pangea - カーネギーメロン大学のオープンソース多言語・マルチモーダル大規模言語モデル

パンゲアとは何ですか？

カーネギーメロン大学のチームが開発した多言語・マルチモーダル大規模言語モデル（LLM）であるPangeaは、言語的・文化的多様性のグローバルな網羅性を高めることを目指しています。このモデルは、600万件の指示を含む多様なデータセットを備え、39言語をサポートし、高品質の英語指示、機械翻訳指示、および文化関連のタスクを特徴としています。Pangeaの性能は、47言語をカバーする14のデータセットを含むPangeaABench評価スイートを使用して評価されました。Pangeaは、多言語および文化的コンテキストにおいて、既存のオープンソースモデル（Llava-1.5-7BやLlava-Next-7Bなど）を凌駕しています。研究によると、英語データの割合、言語の人気度、およびマルチモーダルトレーニングサンプルの数が性能に大きく影響することが分かりました。

パンゲアの主な機能

• 多言語対応39種類の言語でテキストを理解・生成できるため、多言語コミュニケーションや処理において非常に役立ちます。
• マルチモーダルな理解テキストだけでなく、画像も処理・理解することができ、画像の説明や視覚的な質問応答といったタスクにおいて優れた性能を発揮する。
• 異文化取材文化に関連したマルチモーダルなタスクをトレーニングに含めることで、モデルはさまざまな文化的背景をよりよく理解し、適応できるようになります。
• 質の高い指導が続きますPangeaは、トレーニング中に高品質の英語の指示書と、慎重に機械翻訳された指示書を使用することで、異なる言語間でのモデルの精度と一貫性を確保しています。

パンゲアの技術原理

• データセットの構築Pangeaデータセットを基に作成された、39言語を網羅する600万件の指示を含む多言語データセット。
• 機械翻訳多言語データの不足に対処するため、機械翻訳技術を用いて、質の高い英語の指示書を他の言語に翻訳する。
• 文化関連のタスク文化に関連したマルチモーダルなタスクをトレーニングに組み込むことで、モデルの文化的な違いに対する理解力と適応力を向上させる。
• 評価キットPangeaABenchは、47言語を網羅する14のデータセットを含む評価スイートであり、多言語およびマルチモーダルなタスクにおけるモデルのパフォーマンスを包括的に評価するために使用されます。
• モデルアーキテクチャLLaVA-Nextアーキテクチャに基づき、Qwen2-7B-Instructが言語モデルの基盤として使用され、モデルに強力な言語理解および生成機能を提供します。

パンゲアのプロジェクトアドレス

• プロジェクト公式サイト：neulab.github.io/Pangea
• GitHubリポジトリ：https://github.com/neulab/Pangea
• ハギングフェイスモデルライブラリ：https://huggingface.co/collections/neulab/pangea-6713c3b0d78a453906eb2ed8
• arXiv技術論文：https://arxiv.org/pdf/2410.16153
• オンラインでデモを体験してください：https://huggingface.co/spaces/neulab/Pangea

Pangeaのアプリケーションシナリオ

• 多言語対応のカスタマーサービスグローバル企業である当社では、異なる言語を話すお客様の問題解決を支援するため、多言語対応のカスタマーサポートとサービスを提供しています。
• 教育と学習教育ツールとして、学習者が多言語の学習教材にアクセスしたり、言語教育を支援したりするのに役立つ。
• 異文化コミュニケーション国際機関や非政府組織において、異なる文化的背景を持つ人々間のコミュニケーションと相互理解を促進する。
• ソーシャルメディアとコンテンツ制作Pangeaは、コンテンツ制作者が多言語コンテンツを作成したり、ソーシャルメディア上で異なる言語のユーザーと交流したりするのに役立ちます。
• 観光と航海観光業界において、多言語対応の旅行情報やナビゲーションサービスを提供することは、観光客が言語の壁を克服するのに役立つ。