project
NVIDIA Nemotron Nano 2 - NVIDIAの高効率推論モデル
NVIDIA Nemotron Nano 2は、NVIDIAが提供する高性能推論モデルで、パラメータ数は9バイトです。このモデルは、ハイブリッドMamba-Transformerアーキテクチャに基づいており、20兆トークンで事前学習済みで、128kのコンテキスト長をサポートしています。
NVIDIA Nemotron Nano 2とは何ですか？
NVIDIA Nemotron Nano 2は、NVIDIAが提供する高性能推論モデルで、パラメータ数は9バイトです。ハイブリッドMamba-Transformerアーキテクチャに基づいており、20兆トークンで事前学習済みで、128kのコンテキスト長をサポートしています。Qwen3-8Bと比較して、同等以上の精度を維持しながら、推論速度を6倍向上させています。このモデルは、推論トークン数を指定できる予算管理機能を備えています。NVIDIAは、開発者によるさらなる研究やアプリケーション開発を支援するため、ベースモデルと事前学習済みデータセットの大部分をオープンソース化しています。
NVIDIA Nemotron Nano 2の主な特徴
- 高スループットNVIDIA Nemotron Nano 2は、複雑な推論タスクにおいて非常に優れた性能を発揮し、Qwen3-8Bの最大6倍のスループットを実現します。
- 長文コンテキストのサポート最大128kのコンテキスト長をサポートし、単一のNVIDIA A10G GPUで推論を実行できるため、長文テキストや複雑なタスクの処理に適しています。
- 推論プロセスのサポートこのモデルは最終的な回答を生成する前に推論過程を生成し、ユーザーはモデルの「思考」予算を指定できます。
- 柔軟な出力モードユーザーは、中間的な推論手順をスキップして、最終的な答えを直接得ることもできます。
- 多言語能力事前学習済みデータセットには複数の言語のデータが含まれており、強力な多言語推論機能をサポートします。
- 複数分野にわたるカバー範囲数学、プログラミング、学術研究、STEM分野など、複数の分野のデータを網羅しており、様々な応用シナリオに適しています。
NVIDIA Nemotron Nano 2の技術原理
- ハイブリッドMamba-Transformerアーキテクチャ従来のTransformerにおける自己注意層の大部分をMamba-2層に置き換えることで、特に長い推論チェーンを生成する際に、推論速度が大幅に向上します。Transformer層には、モデルの柔軟性と精度を維持するために、一部の自己注意層が残されています。
- 事前トレーニングプロセス20兆トークンで事前学習済み、FP8精度、ウォームアップ・安定減衰学習率スケジューリングを採用。長時間のコンテキスト拡張ステージを継続的に事前学習することで、他のベンチマークでのパフォーマンスを低下させることなく、128kのコンテキスト長に対応できます。
- トレーニング後の最適化教師ありファインチューニング（SFT）とは、モデルを監視し、特定のタスクにおけるパフォーマンスを向上させるために微調整を行う手法です。これには、ポリシー最適化によるモデルの指示への従順性の向上、モデルの嗜好を人間の嗜好により合致させるための最適化、そして人間のフィードバックに基づく強化学習を用いてモデルの会話能力と指示遵守能力を高めることなどが含まれます。
- モデル圧縮枝刈りと知識蒸留の手法に基づき、12Bパラメータを持つ基本モデルは、モデル性能を維持しながら9Bパラメータに圧縮されます。最適化されたモデルは、単一のNVIDIA A10G GPU上で128kトークンを用いた文脈推論をサポートし、推論コストを大幅に削減します。
- 予算管理の論理短縮学習に基づき、モデルはユーザーが指定した「思考」予算に従って推論を行い、不要な計算を回避します。ユーザーはモデルの推論プロセスを柔軟に制御でき、推論プロセスを表示するか、最終的な回答を直接取得するかを選択できます。
NVIDIA Nemotron Nano 2プロジェクトの住所
- プロジェクト公式サイト：https://research.nvidia.com/labs/adlr/NVIDIA-Nemotron-Nano-2/
- ハギングフェイスモデルライブラリ：https://huggingface.co/collections/nvidia/nvidia-nemotron-689f6d6e6ead8e77dd641615
- 技術論文：https://research.nvidia.com/labs/adlr/files/NVIDIA-Nemotron-Nano-2-Technical-Report.pdf
- オンラインでデモを体験してください：https://build.nvidia.com/nvidia/nvidia-nemotron-nano-9b-v2
NVIDIA Nemotron Nano 2の応用事例
- 教育教育分野において、数学は学生が複雑な数学的・科学的問題を解決するのに役立ちます。複雑な数式や物理法則を段階的な推論を通して説明することで、学生が知識をより深く理解し、習得できるよう支援します。
- 学術研究研究者は学術研究を行い、論文執筆や実験計画を支援するために、詳細な推論プロセスと分析レポートを作成する。
- ソフトウェア開発開発者向けに高品質なコードスニペットを生成し、コードの開発と最適化を迅速に行うのに役立ちます。
- プログラミング教育プログラミング教育において、モデルはコード例と説明を提供することで、初心者がプログラミング言語やアルゴリズムをよりよく理解するのに役立つ。
- 顧客サービス顧客サービス分野においては、多言語対応のチャットボットとして機能し、効率的かつ正確な顧客サポートを提供する。