AB
AB
AiBoss

すべてのカテゴリ

project

Moonlight-16B-A3B - 月の裏側を対象としたオープンソースのMoEモデル。

Moonlight-16B-A3Bは、Moonshot AIが開発した新しいMixture-of-Expert（MoE）モデルで、合計160億個のパラメータと30億個の活性化パラメータを備えています。このモデルは、最適化されたMuonオプティマイザを使用して学習されます。

Moonlight-16B-A3Bとは何ですか？

Moonlight-16B-A3Bは、Moonshot AIが開発した新しいMixture-of-Expert（MoE）モデルで、総パラメータ数は160億、活性化パラメータ数は30億です。このモデルは、最適化されたMuonオプティマイザを使用して学習されており、従来のAdamWの2倍の計算効率を実現しています。パフォーマンス面では、Moonlightは複数のベンチマークで優れた性能を発揮し、英語理解（MMLU）やHumanEvalコード生成などのタスクにおいて、他の類似モデルを凌駕しています。モデルの学習データセットは5.7兆トークンで構成されており、高いサンプル効率を示しています。

Moonlight-16B-A3Bの主な機能

  • 効率的な言語理解と生成最適化されたMuonオプティマイザで学習させたこのモデルは、言語理解、テキスト生成、コード生成など、さまざまな言語タスクにおいて優れた性能を発揮します。
  • 大規模データトレーニングMoonlight-16B-A3Bは5兆7000億トークンのデータを使用して学習されており、非常に効率的な分散学習をサポートしています。
  • 高効率オプティマイザとトレーニング効率このモデルは、改良されたMuonオプティマイザを使用しており、従来のAdamWオプティマイザに比べて計算効率が約2倍です。重み減衰とパラメータ更新比率を最適化することで、Muonオプティマイザは大規模トレーニングにおいてより高い安定性と効率性を発揮します。
  • 低コストのコンピューティングこのモデルは、AdamWによるトレーニングと同等の性能を達成するために、トレーニングに必要なFLOPsの約52%しか必要としません。
  • 低活性化パラメータ設計パラメータの総数は16Bであり、活性化パラメータはわずか3Bであるため、高いパフォーマンスを維持しながら計算リソースの要件を大幅に削減できます。

Moonlight-16B-A3Bの技術原理

  • ミューオン最適化ツールの改良Moonlight-16B-A3Bは、最適化されたMuonオプティマイザを使用しています。Muonオプティマイザは、行列直交化手法（ニュートン・シュルツ反復法など）を用いてモデルパラメータを最適化することで、学習効率を大幅に向上させます。従来のAdamWオプティマイザと比較して、Muonのサンプル効率は約2倍高く、大規模学習における安定性と効率性が向上しています。
  • 重量減少と更新調整Muonの大規模モデル学習における性能を向上させるため、開発チームは各パラメータの更新スケールを調整する重み減衰メカニズムを導入しました。これにより、ハイパーパラメータの調整を必要とせずに、Muonを大規模モデル学習に直接適用することが可能になりました。
  • 分散実装Moonlight-16B-A3Bの学習には、ZeRO-1に基づく分散最適化手法が採用されています。これにより、メモリオーバーヘッドと通信コストが削減され、大規模な分散環境においても効率的にモデルを学習することが可能になります。
  • モデルアーキテクチャとトレーニングデータMoonlight-16B-A3Bは、16B個のパラメータと3B個の活性化パラメータを持つMoEモデルであり、5.7兆個のラベルを使用して学習されています。高いパフォーマンスを維持しながら、計算リソースの必要量を大幅に削減します。
  • パフォーマンス最適化最適化されたミューオンオプティマイザと効率的な分散型トレーニングにより、Moonlight-16B-A3Bは複数のベンチマークテストにおいて、同規模の他のモデルを凌駕する性能を発揮します。

Moonlight-16B-A3Bのプロジェクトアドレス

Moonlight-16B-A3Bの性能

  • 言語理解課題
    • MMLU（Multilingual Language Understanding）Moonlight-16B-A3Bの性能は70.0%に達し、LLAMA3-3B（54.75%）やQwen2.5-3B（65.6%）よりも大幅に優れている。
    • BBH（BoolQ Benchmark）Moonlightは当該タスクで65.2%のスコアを達成し、他の類似モデルを上回った。
    • TriviaQAMoonlightは66.3%というスコアを獲得し、これは他のモデルと同等かそれ以上の成績である。
  • コード生成タスク
    • HumanEvalMoonlightはコード生成タスクにおいて48.1%の性能向上を達成し、LLAMA3-3B（28.0%）およびQwen2.5-3B（42.1%）を上回った。
    • MBPP（Mini-Benchmark for Program Synthesis）Moonlightのパフォーマンスは63.8%で、他のモデルを大幅に上回った。
  • 数学的推論課題
    • GSM8KMoonlightはこのタスクで77.4%のスコアを獲得し、Qwen2.5-3Bの最高成績（79.1%）に近い結果となった。
    • MATHMoonlightの性能は45.3%で、他の類似モデルよりも優れています。
    • CMathMoonlightは81.1%のパフォーマンスを達成し、Qwen2.5-3B（80.0%）を上回った。
  • 中国語のタスク
    • C-EvalMoonlightのパフォーマンスは77.2%で、Qwen2.5-3B（75.0%）よりも優れていた。
    • CMMLUMoonlightは78.2%の性能を達成し、他の類似モデルを上回った。
  • 計算効率
    • トレーニング効率Moonlightで使用されているMuonオプティマイザは、AdamWの2倍の計算効率を持ち、AdamWと同等の性能を達成するために必要なトレーニングFLOPsは約52%で済みます。
    • メモリと通信の効率Moonlightは、改良された分散実装により、大規模トレーニング時におけるメモリと通信の効率性を向上させている。
Benchmark (Metric) Llama3.2-3B Qwen2.5-3B DSV2-Lite Moonlight
Activated Param† 2.81B 2.77B 2.24B 2.24B
Total Params† 2.81B 2.77B 15.29B 15.29B
Training Tokens 9T 18T 5.7T 5.7T
Optimizer AdamW * AdamW Muon
English MMLU 54.75 65.6 58.3 70.0
MMLU-pro 25.0 34.6 25.5 42.4
BBH 46.8 56.3 44.1 65.2
TriviaQA‡ 59.6 51.1 65.1 66.3
Code HumanEval 28.0 42.1 29.9 48.1
MBPP 48.7 57.1 43.2 63.8
Math GSM8K 34.0 79.1 41.1 77.4
MATH 8.5 42.6 17.1 45.3
CMath – 80.0 58.4 81.1
Chinese C-Eval – 75.0 60.3 77.2
CMMLU – 75.0 64.3 78.2

Moonlight-16B-A3Bの応用事例

  • 教育と研究学術研究において、Moonlightは研究者が大量の文献を迅速に理解し分析するのに役立ちます。
  • ソフトウェア開発開発者はMoonlightを使用してコードスニペットを自動生成することで、開発効率を向上させることができます。
  • 研究開発研究者やエンジニアは、Moonlightを使って現実世界の応用における数学的な問題を解決することができます。
  • 中国語コンテンツ制作コンテンツ制作の分野において、Moonlightはクリエイターが高品質な中国語コンテンツを作成するのに役立ちます。
  • 大規模モデルトレーニング大規模なモデルトレーニングが必要なシナリオでは、Moonlightは計算リソースの必要量を大幅に削減し、トレーニング効率を向上させることができます。
戻る