MeteoRA - 南京大学が、高効率で拡張性の高いマルチタスク組み込みフレームワークを発表 - AiBoss

MeteoRAとは何ですか？

南京大学コンピュータ科学技術学部の研究チームが開発したMeteoRAは、大規模言語モデル（LLM）向けのマルチタスク埋め込みフレームワークです。複数のタスク固有のLoRA（低ランクアダプタ）を単一のベースモデルに統合することで、効率的なパラメータ再利用と自律的なタスク切り替えを実現します。ハイブリッドエキスパート（MoE）アーキテクチャに基づき、MeteoRAは学習可能なゲーティングネットワークを用いて、明示的なタスク指示を必要とせずに、現在の入力に最適なLoRAアダプタを動的に選択します。MeteoRAは、カスタムGPUカーネルオペレータに基づき、メモリオーバーヘッドを低く抑えながら推論効率を大幅に向上させるMoEフォワードアクセラレーション戦略を提案しています。実験結果によると、MeteoRAは様々なタスクにおいて従来のファインチューニング手法と同等の性能を発揮し、複雑なタスクで優れた性能を発揮するとともに、単一の推論プロセス内で複数のサブ問題の解決をサポートします。

MeteoRAの主な機能

マルチタスクアダプターの統合複数のタスクを同時に処理するために、複数のタスク固有のLoRA（低ランクアダプタ）を基本となるLLMに組み込みます。
自律的なタスク選択と切り替えこれにより、タスクの意図を手動で指定することなく、自律的なタスク切り替えが可能になります。
効率的な推論メモリ使用量を抑えつつ、マルチタスクアダプタの推論効率を向上させる。
複合タスク処理複数の異なるドメインからの質問に継続的に回答するなど、単一の推論反復で複数のサブタスクを解決することで、モデルの柔軟性と実用性が向上します。
拡張性複数のLoRAアダプタの統合をサポートしているため、さまざまなタスクや分野に適しており、LLMの応用シナリオを拡大します。

MeteoRAの技術原則

LoRA（Low-Rank Adaptation）LLMの線形層に低ランク行列（AとB）を注入し、基となるモデルの他のパラメータを変更することなく、特定のタスクに適応するように行列のみを更新する、パラメータ効率の良い微調整手法。各LoRAアダプタには、モデルの出力を変更するために使用される一対の低ランク行列が含まれている。
ハイブリッドエキスパート（MoE）アーキテクチャMoEアーキテクチャに基づき、複数のLoRAアダプタはそれぞれ異なる「エキスパート」として扱われ、学習可能なゲーティングネットワークが現在の入力に最適なエキスパート（LoRAアダプタ）を動的に選択します。ゲーティングネットワークは、入力の隠れ状態に基づいて各LoRAの重みを計算し、最も重みの高いアダプタを選択して順伝播させます。
動的ゲーティング機構ゲーティングネットワークは、各入力に動的に重みを割り当て、どのLoRAアダプタが計算に参加するかを決定します。上位k個のアダプタを選択する戦略に基づいて、複数のアダプタの選択をサポートし、タスクの柔軟な切り替えと組み合わせを可能にします。
前方加速戦略PyTorchとTritonをベースにしたカスタムGPUコアオペレーターを紹介します。これらのオペレーターは、並列化と最適化されたメモリアクセスにより、メモリ使用量を抑えながらマルチタスク推論の速度を向上させます。
フルモード統合LoRAアダプタをTransformerアーキテクチャのすべての線形層（アテンションモジュールとMLPモジュールを含む）に組み込み、さまざまなタスクからの知識をより包括的に活用します。

MeteoRAのプロジェクトアドレス

GitHubリポジトリ：https://github.com/NJUDeepEngine/meteora
arXiv技術論文：https://arxiv.org/pdf/2405.13053

MeteoRAの応用シナリオ

複数分野にわたる質疑応答さまざまな分野の知識を統合し、アダプターを自動的に切り替え、さまざまな質問に正確に回答します。
多言語対話複数の言語間の翻訳をサポートし、円滑な多言語コミュニケーションを実現します。
複合タスク処理複数のサブタスクを含む複雑な問題を解決し、タスクを完了するためにアダプタを動的に切り替える。
異分野知識の統合異なる分野の知識を組み合わせることで、複雑な課題を処理する能力を向上させることができる。
インテリジェントな顧客サービスとアシスタントユーザーのニーズに応じてアダプターを動的に切り替えることで、迅速な対応とサービス品質の向上を実現します。