AB
AB
AiBoss

すべてのカテゴリ

project

Phi-3.5 - マイクロソフトの次世代AIモデル。ミニモデル、MoEモデル、ビジョンモデルを組み合わせたハイブリッドモデル。

Phi-3.5は、マイクロソフトの次世代AIモデルシリーズで、軽量推論、ハイブリッドAI、AIなどを対象としたPhi-3.5-mini-instruct、Phi-3.5-MoE-instruct、Phi-3.5-vision-instructの3つのバージョンで構成されています。

ファイ3.5とは何ですか？

Phi-3.5は、マイクロソフトの次世代AIモデルシリーズで、軽量推論、ハイブリッドエキスパートシステム、マルチモーダルタスク向けにそれぞれ設計されたPhi-3.5-mini-instruct、Phi-3.5-MoE-instruct、Phi-3.5-vision-instructの3つのバージョンで構成されています。Phi-3.5はMITオープンソースライセンスで提供され、さまざまなパラメータサイズに対応し、128kのコンテキスト長をサポート、最適化された多言語処理と複数ターン対話機能を備えています。ベンチマークテストでは、GPT4o、Llama 3.1、Gemini Flashなどの類似モデルを上回る性能を発揮します。

Phi-3.5シリーズモデルの性能評価と特長

  • Phi-3.5-mini-instruct 
    • パラメータPhi-3.5ミニ命令には、約38億2000万個のパラメータがあります。
    • 設計目的このモデルは指示に従うように設計されており、迅速な推論タスクをサポートします。
    • コンテキストサポート最大12万8千トークンのコンテキスト長をサポートしているため、長いテキストデータの処理に適しています。
    • 適用可能なシナリオメモリや計算リソースが限られた環境に適しており、コード生成、数学的問題解決、論理推論などのタスクを実行できる。
    • パフォーマンス多言語および複数ターンの対話タスクにおいて優れた性能を発揮し、RepoQAベンチマークでは、「長いコンテキストコードの理解」において、Llama-3.1-8B-instructやMistral-7B-instructといった同規模の他のモデルを凌駕する性能を示します。
    • トレーニングの詳細512個のH100-80G GPUを使用し、10日間で3兆4000億個のトークンを学習させた。
  • Phi-3.5-MoE-instruct
    • パラメータPhi-3.5-MoE-instructには約419億個のパラメータがあります。
    • 建築的特徴このモデルはハイブリッドエキスパートアーキテクチャを採用しており、複数の異なるタイプのモデルを1つに組み合わせ、各モデルが異なるタスクの処理に特化している。
    • コンテキストサポート最大12万8千トークンのコンテキスト長をサポートしているため、複雑な多言語およびマルチタスクのシナリオを処理するのに適しています。
    • パフォーマンスコード、数学、多言語理解において優れており、RepoQAベンチマークでの卓越したパフォーマンスを含め、特定のベンチマークにおいて大規模モデルを上回る性能を発揮することが多い。
    • マルチタスク機能5ショットのMMLU（大規模マルチタスク言語理解）ベンチマークテストでは、STEM、人文科学、社会科学など、複数の分野にわたるさまざまなレベルでGPT-40 miniを上回る性能を発揮した。
    • トレーニングの詳細このシステムは512個のH100-80G GPUを使用し、23日間で4兆9000億個のトークンを学習させた。
  • Phi-3.5-vision-instruct
    • パラメータPhi-3.5-vision-instructには、約41億5000万個のパラメータがあります。
    • 機能統合このモデルはテキスト処理機能と画像処理機能を統合しており、マルチモーダルデータの処理を可能にする。
    • 適用可能なタスクこれは、一般的な画像認識、光学文字認識（OCR）、グラフや表の理解、ビデオの要約といったタスクに特に適しています。
    • コンテキストサポート最大12万8千トークンのコンテキスト長をサポートしており、モデルが複雑な複数フレームの画像処理タスクを処理することを可能にします。
    • トレーニングデータこのモデルは、合成データセットと厳選された公開データセットを使用してトレーニングされ、特に高品質で推論集約型のデータに重点が置かれています。
    • トレーニングの詳細256個のA100-80G GPUを使用して、6日間で5000億個のトークンを学習させた。

Phi-3.5のプロジェクトアドレス

Phi-3.5の使い方

  • 環境準備開発環境が、Python環境、必要なライブラリ、フレームワークなど、モデルを実行するためのハードウェアおよびソフトウェア要件を満たしていることを確認してください。
  • モデルを取得するPhi-3.5モデルのハギングフェイスモデルライブラリにアクセスし、モデルコードをダウンロードしてください。
  • 依存関係をインストールしますモデルのドキュメントに従って、Transformersライブラリ、PyTorch、TensorFlowなどの必要な依存関係をインストールしてください。
  • モデルAPIまたはコードスニペットを使用してPhi-3.5モデルをロードします。たとえば、Hugging FaceのTransformersライブラリを使用している場合は、名前またはパスでモデルをロードできます。
  • データ処理入力データを準備し、単語分割やエンコーディングなど、モデルの要件に従って前処理を実行します。
  • モデル構成コンテキストの長さの設定や特定のタスク構成の選択など、アプリケーションのシナリオに応じてモデルパラメータを設定します。
  • タスクを実行するこのモデルを使用して、テキスト生成、質問応答、テキスト分類などの必要なタスクを実行します。

Phi-3.5の応用事例

  • Phi-3.5-mini-instruct組み込みシステムやモバイルアプリケーションにおける高速なテキスト処理およびコード生成に適した、小型で効率的なAIモデル。
  • Phi-3.5-MoE-instruct専門家によるハイブリッドモデルは、データ分析や多言語テキストに対して高度な推論能力を提供し、学際的な研究や専門分野に適しています。
  • Phi-3.5-vision-instruct高度なマルチモーダル処理機能を備え、自動画像注釈、ビデオ監視、複雑な視覚データの詳細な分析に適しています。
戻る