Jamba - AI21初のMambaアーキテクチャに基づく大規模オープンソースモデル
AI21 Labsが開発したJambaは、Mambaアーキテクチャに基づいた初の商用レベルの大規模言語モデルです。現在、ほとんどの大規模言語モデル（GPT、Gemini、Llamaなど）はTransformerアーキテクチャに基づいています。しかし、Jambaは…
Jambaとは何ですか？
AI21 Labsが開発したJambaは、Mambaアーキテクチャをベースとした、実用化可能な初の大型言語モデルです。現在利用可能な大型モデルのほとんど（GPT、Gemini、Llamaなど）はTransformerアーキテクチャをベースとしていますが、JambaはMamba構造化状態空間（SSM）モデルと従来のTransformerアーキテクチャを組み合わせることで、高品質な出力、高いスループット、そして低いメモリ消費量という利点を実現しています。このハイブリッドモデルは256Kのコンテキストウィンドウを備えており、長文テキストの処理におけるスループットと効率を大幅に向上させます。
Jambaは、Apache 2.0オープンソースライセンスの下、オープンウェイトでリリースされており、コミュニティによるさらなる研究と最適化を奨励しています。現在、Jambaは研究モデルとしてリリースされており、必要な商用利用を保証するものではありません。AI21 Labsは、今後数週間以内に、より高度に調整され、セキュリティを強化したバージョンをリリースする予定です。
ジャンバの公式サイトへの入り口
- 公式プロジェクトホームページ：https://www.ai21.com/jamba
- 公式ブログ紹介：https://www.ai21.com/blog/announcing-jamba
- ハグの顔のアドレス:https://huggingface.co/ai21labs/Jamba-v0.1
ジャンバの主な特徴
- SSMトランスフォーマーハイブリッドアーキテクチャJambaは、Mamba SSM（構造化状態空間モデル）とTransformerアーキテクチャを組み合わせた、初の量産グレードモデルです。この革新的なハイブリッドアーキテクチャは、モデルのパフォーマンスと効率の向上を目指しています。
- 大規模コンテキストウィンドウJambaは256Kのコンテキストウィンドウを提供するため、モデルはより長いテキストシーケンスを処理でき、より複雑な自然言語処理タスクに適しています。
- 高スループット同サイズのMixtral 8x7Bモデルと比較して、Jambaは長いコンテキストを処理する際に3倍のスループット向上を実現し、大量のデータをより効率的に処理することを可能にします。
- 単一GPUによる大容量処理Jambaは単一のGPU上で最大14万のコンテキストを処理できるため、モデルへのアクセス性とデプロイメントの柔軟性が大幅に向上します。
- オープンウェイトライセンスJambaの重みデータはApache 2.0ライセンスの下で公開されており、研究者や開発者はモデルを自由に利用、変更、最適化できるため、技術共有とイノベーションが促進されます。
- NVIDIA API統合JambaはNVIDIA APIカタログにおいてNVIDIA NIM推論マイクロサービスとして提供され、企業開発者はNVIDIA AI Enterpriseソフトウェアプラットフォームを使用してJambaモデルを容易に展開できるようになります。
- 最適化されたMoE層Jambaは、ハイブリッドアーキテクチャにおいてMoE（ハイブリッドエキスパート）レイヤーを利用し、推論時に一部のパラメータのみをアクティブ化することで、モデルの効率とパフォーマンスを向上させています。
Jambaの技術アーキテクチャ
Jambaアーキテクチャはブロックとレイヤーのアプローチを採用しており、Mamba SSMアーキテクチャとTransformerアーキテクチャの両方をうまく統合できます。各Jambaブロックには、アテンションレイヤーまたはMambaレイヤーのいずれかが含まれており、その後に多層パーセプトロン（MLP）が続きます。結果として、8つのレイヤーごとに1つのTransformerレイヤーが配置されることになります。
さらに、JambaはMoEを活用してモデルパラメータの総数を増やしつつ、推論で使用されるアクティブパラメータの数を簡素化することで、計算負荷の増加を伴わずにモデル容量を向上させています。AI21 Labsは、80GBのGPU1基でモデルの品質とスループットを最大化するために、使用するMoEレイヤーとエキスパートの数を最適化し、一般的な推論ワークロードに十分なメモリ容量を確保しました。
ジャンバのパフォーマンス比較
AI21 Labsのレポートによると、Jambaモデルは様々なベンチマークテスト（HellaSwag、ArcChallenge、MLLUなど）で優れた結果を示しており、言語理解、科学的推論、常識的推論など幅広いタスクテストにおいて、同じサイズカテゴリの最先端モデル（Llama2 13B、Llama2 70B、Gemma 7B、Mixtral 8×7Bなど）に匹敵するか、あるいはそれらを凌駕している。