MobileLLM - モバイルデバイス向けに最適化されたMetaの言語モデル - AiBoss

MobileLLMとは何ですか？

MobileLLMは、パラメータ数が10億未満という大規模言語モデルで、Metaがモバイルデバイスのユースケース向けに最適化し、クラウドコストの上昇やレイテンシの増大といった課題に対応しています。ディープシンアーキテクチャ、共有埋め込み、グループ化されたクエリアテンションメカニズムに基づき、MobileLLMはパラメータ数が10億未満で高品質な言語モデルを実現しています。MobileLLM-125M/350Mは、従来のモデルと比較してゼロショット常識推論タスクの精度を大幅に向上させ、MobileLLMファミリーはチャットベンチマークにおいて、より小規模なモデルよりも大幅な改善を示しています。API呼び出しタスクでは、LLaMA-v2 7Bと同等の精度を示し、一般的なデバイスのユースケースにおける小規模モデルの可能性を際立たせています。

MobileLLMの主な機能

言語の理解と生成自然言語の理解と生成が可能で、複数の言語関連タスクをサポートします。
ゼロサンプル常識推論特別な訓練を受けずに、常識的な推論を必要とする問題を解決する能力。
チャットでのやり取り対話システムにおいてスムーズな対話体験を提供し、ユーザーの質問を理解して応答できること。
API呼び出し自然言語コマンドをAPI呼び出しに変換し、バックエンドサービスとの連携を可能にする。
テキストの書き換えと要約テキストコンテンツの書き換えと要約生成をサポートし、情報処理効率を向上させます。
数学的問題解決数学的な問題を解決する能力、および数学的な計算を理解し実行する能力を有する。

MobileLLMの技術原理

奥行きと薄型構造MobileLLMは、より多くの層とより少ないパラメータを持つ、深くて薄いモデルアーキテクチャに基づいており、モデルがより抽象的な概念を学習するのに役立ちます。
SwiGLU活性化機能モデルの非線形表現力を向上させるため、従来のReLU活性化関数の代わりにSwiGLU活性化関数が使用されています。
埋め込み型共有入力層と出力層の埋め込みは重みを共有することで、モデルパラメータの数を削減しつつ、モデルのパフォーマンスを維持または向上させる。
グループ化されたクエリのアテンションメカニズムキーバリューヘッダーの数を減らし、それらを再利用することで、アテンションメカニズムを最適化し、モデルの効率を向上させます。
ブロックレベルの共有隣接するモデルブロック間で重みを共有することで、メモリ層間での重みの頻繁な移動を回避し、レイテンシを低減します。
量的適合性このモデルは、W8A8（8ビットの重みと8ビットの活性化関数）などの量子化技術をサポートしており、リソースに制約のあるデバイスでもパフォーマンスを維持しながらモデルを実行できます。

MobileLLMプロジェクトのアドレス

GitHubリポジトリ：https://github.com/facebookresearch/MobileLLM
ハギングフェイスモデルライブラリ：https://huggingface.co/collections/facebook/mobilellm-6722be18cb86c20ebe113e95
arXiv技術論文：https://arxiv.org/pdf/2402.14905

MobileLLMの応用シナリオ

モバイルチャットアプリモバイルチャットアプリケーションにおいて、MobileLLMはリアルタイムの言語理解および生成機能を提供し、ユーザーがチャットボットと流暢な会話をすることを可能にします。
音声アシスタントスマートフォンなどのモバイル機器に搭載された音声アシスタントは、リマインダーの設定や情報の検索など、自然言語によるコマンドに基づいてユーザーがタスクを実行するのを支援します。
コンテンツのフィルタリングとレコメンデーションコンテンツ推薦システムにおいて、MobileLLMはユーザーの興味や嗜好を理解し、パーソナライズされたコンテンツの推薦を提供することができます。
教育用途教育用ソフトウェアにおいて、MobileLLMは言語学習アシスタントとして機能し、ユーザーが新しい言語を学習するのを支援し、文法の訂正や発音の指導を提供します。
モバイル検索モバイル検索アプリケーションにおいて、MobileLLMはよりスマートな検索候補と結果の説明を提供することで、ユーザーが必要な情報を迅速に見つけられるように支援します。