UltraMem - ByteDanceのDoubao Big Modelチームが発表した、まったく新しい超疎モデルアーキテクチャ。

UltraMemとは何ですか？

UltraMemは、ByteDanceのDoubao Big Modelチームが提案した、推論時の従来のMoEアーキテクチャの高いメモリアクセスコストに対処する新しい超スパースモデルアーキテクチャです。メモリアクセスと計算効率を最適化することで、このアーキテクチャは推論コストを大幅に削減し、MoEよりも2～6倍高速な推論速度と最大83%のコスト削減を実現します。UltraMemのコアテクノロジーには、大きなメモリ層をTransformer層全体に分散された複数の小さなメモリ層に分割し、並列計算のためにスキップレイヤー操作を追加することでマルチレイヤー構造を改善したもの、Tucker Decomposition Query Key Retrieval（TDQKR）を使用して値取得精度を向上させる最適化された値取得、仮想メモリと物理メモリの概念を通じてGPUメモリと展開コストを削減する暗黙的に拡張されたスパースパラメータ（IVE）などがあります。実験では、UltraMemはさまざまな活性化パラメータスケールで顕著なパフォーマンス上の利点を示し、スパースパラメータが増加するにつれてそのスケーラビリティはMoEを凌駕することが示されています。

UltraMemの主な機能

• 推論コストを削減するUltraMemは、メモリアクセス機構を最適化することで、推論時のメモリアクセス要件を大幅に削減し、推論コストを最大83%削減します。
• 推論速度を向上させる従来のMoEアーキテクチャと比較して、UltraMemは推論速度が2～6倍速く、一般的なバッチサイズでは、メモリアクセスコストは同じ計算負荷のDenseモデルとほぼ同等です。
• メモリ管理を最適化するUltraMemは、スパース計算と選択的なパラメータ活性化戦略を採用することで、推論時のメモリ依存度を低減し、メモリボトルネックを効果的に回避します。
• 大規模モデルをサポートするこのアーキテクチャは、数十億のデータポイントを用いて価値モデルやエキスパートモデルを構築するための新たな道を開き、優れた拡張性を備えています。
• モデルのパフォーマンスを維持する同じパラメータと活性化条件を用いた場合、UltraMemは推論コストを大幅に削減し、モデル性能の面でもMoEを凌駕する。

UltraMemの技術原理

• スパース計算とパラメータ分離UltraMemは、疎な計算によって計算とパラメータを分離します。従来のMoEのように推論中にすべてのエキスパートをアクティブにするのではなく、現在のタスクに最も関連性の高いパラメータのみをアクティブにすることで、メモリへのアクセス要件を大幅に削減します。
• 最適化されたメモリアクセス機構UltraMemは、大規模な超疎メモリ層を導入することで、少数のパラメータを選択的にアクティブ化することにより、推論中のメモリボトルネックを回避します。このメカニズムにより、UltraMemのメモリアクセスコストは、一般的なバッチサイズにおいて、同じ計算コストを持つDenseモデルのコストとほぼ同等になります。
• 並列計算メカニズムUltraMemは、計算グラフの最適化と高度なアルゴリズムの採用により、複数の推論タスクを同時に実行することを可能にします。並列計算メカニズムにより、リソース利用効率が向上し、推論速度がさらに加速されます。
• タッカー分解クエリキー取得（TDQKR）UltraMemは、より高度な乗算手法であるタッカー分解クエリキー取得（TDQKR）を採用し、値取得プロセスを最適化しています。この手法は、クエリとキー間の相互作用を分解することで、取得精度と効率を向上させます。
• 暗黙的に拡張された疎パラメータ（IVE）UltraMemは、仮想メモリと物理メモリの概念を用いて疎パラメータを暗黙的に拡張する、暗黙的拡張疎パラメータ（IVE）技術を導入しました。これにより、GPUメモリ負荷を増やすことなく、モデルのパフォーマンスとスケーラビリティが向上します。
• 多層構造設計UltraMemは、大きなメモリ層を複数の小さなメモリ層に分割し、Transformer層内に一定間隔で配置します。これにより、モデルはメモリ層でのメモリアクセス操作とTransformer層での計算を並列に実行できるようになり、全体的な効率が向上します。

UltraMemのプロジェクトアドレス

• arXiv技術論文：https://arxiv.org/pdf/2411.12364

UltraMemの応用事例

• リアルタイム推論シナリオUltraMemは、コード補完やインテリジェントな顧客サービスなど、高いレイテンシが求められる推論シナリオに適しています。これらのシナリオでは、モデルはユーザーの要求に迅速に応答する必要があり、UltraMemの低レイテンシはユーザーエクスペリエンスを大幅に向上させることができます。
• 大規模モデル展開UltraMemは、効率的な推論機能と低いメモリアクセスコストにより、大規模な言語モデル（LLM）の展開に最適です。数十億の値を持つ値モデルやエキスパートモデルを構築する場合、UltraMemは限られた計算リソースで高いパフォーマンスを実現できます。
• 金融セクター金融分野において、UltraMemは信用資産管理やリスク予測に活用できます。顧客の意図やリスク特性をより正確に把握することで、UltraMemは金融機関のコスト削減と効率向上に貢献します。
• エネルギー産業エネルギー分野において、UltraMemは機器の運用・保守、電力マーケティングおよび顧客サービス、再生可能エネルギー発電量の予測などに適用可能です。UltraMemは、その効率的なデータ処理および推論機能により、資源配分の最適化とエネルギー効率の向上を実現します。
• 産業オートメーション産業オートメーション分野において、UltraMemは機器の故障予測や生産プロセスの最適化に活用できます。その効率的な推論機能により、大量の産業データを迅速に分析し、インテリジェントな生産管理を実現します。