AB
AiBoss
project

Nemotron 3 Super - NVIDIAが開発した、エージェント推論専用に設計されたオープンソースの大規模モデル。

Nemotron 3 Superは、NVIDIAが開発した1200億個のパラメータを持つオープンソースのAIモデルです。Mamba-MoEハイブリッドアーキテクチャを採用し、エージェントアプリケーション向けに最適化されています。このモデルは、最大100万トークンの超長文コンテキストをサポートし、推論速度を3倍向上させ、高いスループットを実現します。

Nemotron 3 Superとは何ですか?

Nemotron 3 Superは、NVIDIAが提供する1200億個のパラメータを持つオープンソースのAIモデルです。Mamba-MoEハイブリッドアーキテクチャを採用し、エージェントベースのアプリケーション向けに最適化されています。このモデルは、最大100万トークンの超長文コンテキストをサポートし、推論速度を3倍、スループットを5倍向上させます。OpenClawタスクでは優れた成功率を示し、その性能はClaude Opus 4.6に匹敵します。NVIDIAは、10兆トークンを超えるトレーニングデータ、完全な手法、および15種類の強化学習環境をオープンソース化しており、エンタープライズグレードのマルチエージェントシステムに最適な選択肢となっています。

Nemotron 3 Superの主な特徴

  • 極めて長い文脈記憶100万トークンのコンテキストウィンドウをサポートし、エージェントが複雑な複数ステップのタスクにおいて完全なワークフロー状態を維持し、目標からの逸脱を防ぐことを可能にします。
  • インテリジェントエージェントのタスク実行OpenClawなどのインテリジェントエージェントベンチマークテストにおいて、85.6%のタスク成功率を達成し、Claude Opus 4.6などのトップクラスのクローズドソースモデルに匹敵する性能を示した。
  • 推論速度の向上マルチトークン予測技術を用いてネイティブな投機的デコードを実現することで、推論速度が3倍に向上し、リアルタイムのインタラクションのニーズを満たします。
  • 高スループットサービスこのモデルは、前モデルと比較してスループットが5倍向上し、大規模な同時エージェント展開をサポートし、マルチエージェントアプリケーションのコストを削減します。
  • 高精度ツール呼び出しこれにより、大規模な関数ライブラリ内での信頼性の高いナビゲーションが可能になり、サイバーセキュリティなどのリスクの高い重要な環境における実行エラーを防ぐことができます。
  • コードベースのインテリジェントエージェント開発このモデルはコードベース全体を一度にコンテキストにロードできるため、エンドツーエンドのコード生成、脆弱性パッチ適用、および自動デバッグが可能になります。
  • 財務分析および処理数千ページに及ぶレポートを直接メモリに読み込むことができるため、長々とした会話を何度も読み返す手間が省け、作業効率が大幅に向上します。

ネモトロン3スーパーの技術原理

  • Mamba-MoEハイブリッドアーキテクチャ:このモデルは88層のネットワーク構造を採用しており、Mamba-2層とTransformerアテンション層が周期的に交互に配置されます。Mamba-2層はシーケンスモデリングに線形時間計算量を提供し、少数のTransformer層はグローバルアンカーとして機能し、複数の場所にわたる長距離情報ルーティングと高精度推論を担います。これにより、強力なモデリング機能を維持しながら、推論スループットが大幅に向上します。
  • LatentMoE 暗黙的ハイブリッドエキスパートアーキテクチャNVIDIAの革新的なMoE設計は、ルーティングとエキスパート計算の前に、隠れ次元からトークンをより小さな潜在次元に投影します。ルーティングとエキスパート計算はこの圧縮された空間で実行されるため、パラメータの読み込みと通信が数倍削減されます。節約されたリソースは、エキスパートの総数とアクティブ化されるエキスパートの数を増やすために使用され、「エキスパート1人のコストでエキスパート4人をアクティブ化する」効果を実現し、推論コストをほぼ一定に保ちながらモデルの精度を向上させます。
  • マルチトークン予測の高速化このモデルは各位置で複数のトークンを同時に予測するため、モデルは多段階の因果関係や長期的なテキスト構造を学習して品質を向上させるだけでなく、より重要なことに、ネイティブな投機的デコードを実現します。補助予測ヘッドは組み込みのドラフトモデルとして機能し、候補シーケンスを迅速に生成し、メインモデルは1回の順伝播で検証を完了するため、生成遅延が大幅に削減され、追加のオーバーヘッドも最小限に抑えられます。
  • NVFP4低精度事前学習事前学習プロセス全体は、NVFP4精度を用いたBlackwellプラットフォーム上で実行され、4ビット浮動小数点形式によりGPUメモリ要件が大幅に削減されました。精度損失ゼロで、推論速度はHopperアーキテクチャのFP8よりも4倍高速化され、大規模な低精度学習の実現可能性と効率性が実証されました。

ネモトロン3スーパープロジェクトの住所

  • プロジェクト公式サイト:https://blogs.nvidia.com/blog/nemotron-3-super-agentic-ai/
  • ハギングフェイスモデルライブラリ:https://huggingface.co/collections/nvidia/nvidia-nemotron-v3
  • 技術論文:https://research.nvidia.com/labs/nemotron/files/NVIDIA-Nemotron-3-Super-Technical-Report.pdf

Nemotron 3 Superの応用事例

  • インテリジェントエージェントプラットフォームコアエンジンOpenClawのようなインテリジェントエージェントプラットフォームにとって「最も強力なオープンソースモデル」として、複雑で長期にわたるタスクを完了するためのマルチエージェント連携を促進し、コンテキスト爆発と思考負荷という2つの主要なボトルネックを解決します。
  • エンタープライズソフトウェア開発CodeRabbit、Factory、Greptileなどの企業のソフトウェア開発エージェントを強化し、エンドツーエンドのコードライブラリ生成、デバッグ、脆弱性修復を可能にし、SWE-Benchテストで60.47%のスコアを達成しました。
  • 綿密な調査と分析NVIDIA AI-Qリサーチエージェントの基盤となるこのシステムは、DeepResearch Benchのリーダーボードでトップに立ち、膨大な量の文書にわたる多段階推論と情報統合をサポートしている。
  • ネットワークセキュリティの運用と保守自律的でセキュアなオーケストレーションといった高リスク環境では、高精度ツールを使用して信頼性が高く広範なナビゲーション機能ライブラリを呼び出し、重大な実行エラーを防止します。
  • 財務分析数千ページに及ぶ財務報告書を一度にメモリに読み込み、繰り返し推論を行うことなく直接詳細な分析を実行できるため、投資調査の効率が大幅に向上する。