AB
AB
AiBoss

すべてのカテゴリ

project

Llama 3 - Meta Open Sourceがリリースした次世代の大規模言語モデル

Llama 3は、Metaが新たにリリースした次世代大規模言語モデル（LLM）の最新オープンソース版であり、8Bおよび70Bパラメータを持つモデルも含まれ、オープンソース人工知能分野における新たな重要な進歩を示しています。Llamaシリーズの第3弾として…

ラマ3とは何ですか？

Llama 3は、Metaが開発した最新のオープンソース次世代大規模言語モデル（LLM）であり、8バイトと70バイトのパラメータサイズで利用可能で、オープンソースAI分野における新たな大きな進歩を象徴するものです。Llamaシリーズの第3世代となるLlama 3は、前世代の強力な機能を継承するだけでなく、一連の革新と改良により、より効率的で信頼性の高いAIソリューションを提供します。高度な自然言語処理技術を通して、プログラミング、問題解決、翻訳、対話生成など、幅広いアプリケーションをサポートすることを目指しています。

ラマ3シリーズモデル

Llama 3は現在、8B（80億パラメータ）バージョンと70B（700億パラメータ）バージョンの2つのモデルで提供されています。これらの2つのモデルは、異なるレベルのアプリケーションニーズに対応するように設計されており、ユーザーに柔軟性と選択の自由を提供します。

  • Llama-3-8B8Bパラメータモデルは、80億個のパラメータを持つ比較的小規模ながら効率的なモデルです。高速な推論と限られた計算リソースを必要とするアプリケーション向けに設計されており、高いパフォーマンス基準を維持します。
  • Llama-3-70B700億パラメータモデルは、700億個のパラメータを持つ大規模モデルです。より複雑なタスクを処理でき、より高度な言語理解および生成機能を提供し、高いパフォーマンス要件を持つアプリケーションに適しています。

後日、Llama 3では4000億個のパラメータを持つモデルも公開される予定で、現在トレーニング中です。Meta社は、Llama 3のトレーニングが完了次第、詳細な研究論文を発表すると述べています。

ラマ3公式サイト入口

Llama 3 の改善点

  • パラメータサイズLlama 3は、8Bと70Bという2つのパラメータスケールを持つモデルを提供します。Llama 2と比較してパラメータ数が増えたことで、より複雑な言語パターンを捉え、学習することが可能になりました。
  • トレーニングデータセットLlama 3のトレーニングデータセットはLlama 2の7倍の規模で、15兆個以上のトークンが含まれており、コードデータ量も4倍になっているため、Llama 3はコードの理解と生成において優れています。
  • モデルアーキテクチャLlama 3は、より効率的なトークナイザーとGrouped Query Attention（GQA）技術を採用しており、モデルの推論効率と長文テキストの処理能力が向上しています。
  • パフォーマンスの向上Llama 3は、事前学習および事後学習プロセスの改善を通じて、誤拒否率の低減、応答の一致性の向上、およびモデル応答の多様性の向上において進歩を遂げました。
  • 安全モデルのセキュリティと信頼性を向上させるため、Llama Guard 2、Code Shield、CyberSec Eval 2といった新たな信頼性・セキュリティツールが導入されました。
  • 多言語対応Llama 3は、30以上の言語における高品質な非英語データを事前学習データセットに組み込んでおり、将来の多言語対応機能の基盤を築いています。
  • 推論とコード生成Llama 3は、推論、コード生成、および命令追従の能力が大幅に向上しており、複雑なタスクをより正確かつ効率的に処理できるようになっています。

ラマ3の性能評価

Metaの公式ブログによると、精緻に調整されたLlama 3 8Bモデルは、MMLU、GPQA、HumanEval、GSM-8K、MATHなどのデータセットを用いたベンチマークテストにおいて、同様のパラメータサイズのモデル（Gemma 7B、Mistral 7B）を上回る性能を発揮します。また、精緻に調整されたLlama 3 70Bも、MLLU、HumanEval、GSM-8Kを用いたベンチマークテストにおいて、Gemini Pro 1.5やClaude 3 Sonnetといった同サイズのモデルを上回る性能を発揮します。

さらに、Metaは、アドバイスの依頼、ブレインストーミング、分類、選択式質問への回答、コーディング、クリエイティブライティング、抽出、キャラクター/役割の作成、自由回答式質問への回答、推論、書き換え、要約という12の主要なユースケースを網羅する1800のプロンプトを含む、新しい高品質の人間評価セットを開発しました。人間の評価者は、この評価セットに基づいてLlama 3をランク付けし、Claude Sonnet、Mistral Medium、GPT-3.5などの競合モデルと比較しました。その結果、Llama 3は実世界のシナリオで非常に優れたパフォーマンスを発揮し、最低でも52.9%の勝率を達成しました。

Llama 3の技術アーキテクチャ

  • デコーダアーキテクチャLlama 3はデコーダーのみのアーキテクチャを採用しており、これは主に自然言語生成タスクで使用される標準的なTransformerモデルアーキテクチャです。
  • 単語分割器と語彙Llama 3は128Kトークンのトークナイザーを使用しており、これによりモデルはより効率的に言語をエンコードできるため、パフォーマンスが大幅に向上します。
  • グループクエリアテンション（GQA）推論効率を向上させるため、Llama 3は8Bモデルと70Bモデルの両方でGQA（生成品質保証）を採用しています。この手法は、アテンションメカニズム内でクエリをグループ化することで計算量を削減しつつ、モデルのパフォーマンスを維持します。
  • 長シーケンス処理Llama 3は最大8,192トークンのシーケンスをサポートし、マスキング技術を使用して自己注意機構が文書境界を越えないようにします。これは、特に長いテキストを処理する際に重要です。
  • 事前学習済みデータセットLlama 3は、15TBを超えるトークンデータを用いて事前学習されています。このデータセットは、規模が大きいだけでなく品質も高く、モデルに豊富な言語情報を提供します。
  • 多言語データ多言語対応をサポートするため、Llama 3の事前学習済みデータセットには、30以上の言語を網羅した、5%以上の高品質な非英語データが含まれています。
  • データフィルタリングと品質管理Llama 3の開発チームは、高品質なトレーニングデータを確保するために、ヒューリスティックフィルタ、NSFW（職場に不適切なコンテンツ）フィルタ、意味的重複排除手法、テキスト分類器など、一連のデータフィルタリングパイプラインを開発しました。
  • スケーラビリティと並列化Llama 3は、トレーニング中にデータ並列処理、モデル並列処理、パイプライン並列処理を採用しており、これにより多数のGPU上で効率的にモデルをトレーニングすることが可能になります。
  • 指示の微調整Llama 3は、指示を通して事前学習済みモデルを微調整することで、対話やプログラミングなどの特定のタスクにおけるモデルのパフォーマンスをさらに向上させます。

Llama 3の使い方

開発者

Meta社は、Llama 3モデルをGitHub、Hugging Face、Replicateでオープンソース化しました。開発者はTorchtuneなどのツールを使用して、特定のユースケースや要件に合わせてLlama 3をカスタマイズおよび微調整できます。興味のある開発者は、公式ドキュメントを参照してください。入門ガイド次に、ダウンロードとデプロイに進みます。

常連ユーザー

Llama 3を体験したい非技術系のユーザーは、以下の方法を使用できます。

  • Metaが新たにリリースしたMeta AIチャットアシスタントを体験してください（注：Meta.AIは地域制限があり、特定の国でのみ利用可能です）。
  • Replicateの「ラマとチャット」にアクセスして、その体験をしてみてください。https://llama3.replicate.dev/
  • ハグチャットを使用する（https://huggingface.co/chat/モデルをラマ3に手動で切り替えることができます。
戻る