Phi-4 - マイクロソフトが開発したオープンソースの14パラメータの小型言語モデルで、数学などの分野における複雑な推論に優れている。

ファイ4とは何ですか？

Phi-4は、Microsoftが開発した14Bの小型言語モデルで、数学や従来の言語処理などの分野における複雑な推論に優れています。Phi-4は、トレーニングにおいてデータ品質を重視し、大量の合成データを取り入れることで、STEM分野の質問応答や数学コンテスト問題におけるパフォーマンスを向上させています。Phi-4は、トレーニングの中間段階でトレーニングを行うという新しいトレーニングパラダイムを導入し、最大16Kのウィンドウサイズで長文テキストを処理する能力を強化しています。Phi-4はプログラミングタスクにおいて非常に優れたパフォーマンスを発揮し、HumanEvalベンチマークで82.6%の精度を達成し、他のオープンソースモデル（70BのLlama 3.3や72BのQwen 2.5など）を凌駕しています。Phi-4は、Hugging Faceからダウンロードしてオープンソースとして利用できます。

Phi-4の主な機能

• 質問への回答能力彼らは幅広い質問を理解し、答えることができ、STEM（科学、技術、工学、数学）分野で優れた能力を発揮する。
• 数学的問題解決このモデルは、10月12日に開催されたアメリカ数学コンテスト（AMC）で90点以上のスコアを獲得し、優れた数学的推論能力を示した。
• プログラミングタスクPhi-4はプログラミング作業に優れており、プログラミング上の問題を解決するためのコードを理解し、生成する能力を備えています。
• 長文処理中間トレーニング段階に基づくと、Phi-4は高い再現率を維持しながら最大16,000のコンテキストを処理できます。
• 複雑な推論このモデルは、複数のベンチマークテストにおいて、MMLUやGPQAといった複雑な推論タスクを処理する能力を実証している。
• 安全な交流Phi-4は、ユーザーとのやり取りが責任あるAIの原則に準拠していることを確認するために、トレーニング後の段階で安全性の整合性チェックを実施します。

Phi-4 技術原理

• 合成データを用いたトレーニングPhi-4は、マルチエージェントプロンプト、自己修正、指示反転などの技術を用いて生成された大量の合成データをトレーニング中に利用し、モデルの推論能力と問題解決能力を向上させます。
• トレーニング中期段階事前学習と事後学習の間に追加される中間学習段階は、モデルが長文を処理する能力を向上させます。
• 長いコンテキストデータの選択: 8Kトークンを超えるサンプルを高品質の非合成テキストからフィルタリングし、16Kトークンを超えるサンプルに重み付けを行い、目標の長さに一致させます。
• 比較学習ピボットトークンサーチ（PTS）法は、モデル出力に最も大きな影響を与えるキートークンを特定し、信号対雑音比の高い対照学習データを生成するために使用されます。
• 人間からのフィードバック人間からのフィードバックに基づく対照学習（Human Feedback DPO）を組み合わせることで、高品質な正例と負例のサンプルペアが構築され、モデルの出力が人間の好みにより合致するようになる。

Phi-4プロジェクトの住所

• プロジェクト公式サイト：introducing-phi-4
• ハギングフェイスモデルライブラリ：https://hf-mirror.com/microsoft/phi-4
• arXiv技術論文：https://arxiv.org/pdf/2412.08905

Phi-4の応用事例

• 教育支援教育補助ツールとして、STEM分野における複雑な問題を学生が解決するのを支援し、数学やプログラミングの課題に対する個別指導を提供します。
• 技術研究科学研究においては、研究論文における概念やデータの理解と生成に役立ち、研究者が文献レビューやデータ分析を行う際の支援となる。
• ソフトウェア開発コード生成、デバッグ、機能実装など、ソフトウェア開発を支援する。
• スマートアシスタントインテリジェントアシスタントとして、ユーザーの質問を理解して応答し、情報検索、スケジュール管理、その他のパーソナルアシスタントサービスを提供します。
• 企業意思決定支援大量のデータを分析し、企業に市場動向分析、リスク評価、意思決定支援を提供する。