AMD-135M - AMD初の小型言語モデル

AMD-135Mとは何ですか？

AMD-135Mは、AMD初の小型言語モデル（SLM）であり、特定のユースケースにおいてパフォーマンスとリソース消費のバランスを提供します。LLaMA2モデルアーキテクチャに基づいており、AMD Instinct MI250アクセラレータでトレーニングされ、670億トークンを使用します。AMD-135Mには、一般的なテキスト用のAMD-Llama-135Mとコード用のAMD-Llama-135M-codeの2つのバージョンがあります。AMD-135Mは投機的デコードを採用し、各順伝播で複数のトークンを生成することで、推論速度を向上させ、メモリ消費を削減します。パフォーマンスの面では、AMD-135Mはさまざまな自然言語処理タスクにおいて、市場に出回っている他の類似モデルと同等のパフォーマンスを発揮します。たとえば、MI250 GPUを使用してHumanevalデータセットで約32.31%の合格率を達成しており、これは優れたパフォーマンス指標です。

AMD-135Mの主な特徴

• テキスト生成一貫性のあるテキストを生成でき、チャットボットやコンテンツ作成などのアプリケーションをサポートする。
• コード生成AMD-Llama-135M-codeを若干修正したバージョンをベースにしており、コード生成とプログラミング支援をサポートしています。
• 自然言語理解入力テキストの意図と文脈を理解し、質問応答システムや要約生成などに利用されます。
• マルチプラットフォーム対応AMD製GPUやCPUを含む、様々なハードウェアプラットフォーム上で動作します。

AMD-135Mの技術原理

• 推測の解読候補トークンは、小規模なドラフトモデルを使用して生成され、その後、大規模なターゲットモデルによって検証されるため、推論効率が向上します。
• 自己回帰法従来の生成方法では、フォワードパスごとにトークンが生成されますが、投機的復号技術によって最適化されています。
• マルチヘッド注意機構マルチヘッドアテンション機構を用いることで、テキストの異なる部分間の関係性を捉えるモデルの能力を向上させる。
• ロケーションコーディング相対位置符号化（RoPE）は、シーケンス内の単語の順序情報を保持するために使用されます。
• アクティベーション機能言語モデル専用に設計された活性化関数であるSwiglu活性化関数を使用してください。
• Layer Norm: トレーニングプロセスを安定させるために、RMSNorm（二乗平均平方根正規化）を使用します。
• モデルアーキテクチャLLaMA-2モデルアーキテクチャに基づいており、12層、768個の隠れユニットなどの技術仕様を備えています。

AMD-135Mのプロジェクトアドレス

• プロジェクト公式サイト：amd-first-slm-135m-model-fuels-ai-advancements
• ハギングフェイスモデルライブラリ：https://huggingface.co/amd/AMD-Llama-135m

AMD-135Mの応用シナリオ

• チャットボットチャットボットのバックエンドとして、自然言語の理解と生成機能を提供し、ユーザーとの対話的な会話を可能にします。
• コンテンツ作成記事、物語、その他のテキストコンテンツの草稿を作成することで、執筆作業を支援します。
• プログラミング支援ツールAMD-Llama-135M-codeバージョンをベースにしており、開発者がコードスニペットを生成したり、プログラミングの提案を行ったり、自動補完機能を提供したりするのに役立ちます。
• 言語翻訳このモデルは主に英語向けに設計されていますが、機械翻訳タスクのために他の言語にも対応できるようアーキテクチャが調整されています。
• テキスト要約ニュース、記事、レポートの概要を素早く把握できるよう、テキスト形式の要約を自動的に生成します。