Model1 - DeepSeekのコードベースで更新された新しいモデルバージョン。 - AiBoss

モデル1とは何ですか？

Model1は、DeepSeekのFlashMLAコードベースのアップデートで明らかになった謎のモデルで、おそらく次世代フラッグシップモデルであるDeepSeek-V4の内部コードネーム、あるいは最初のエンジニアリングバージョンであると考えられます。このモデルには、標準的な512次元アーキテクチャへの回帰、NVIDIAのBlackwellアーキテクチャ（SM100）との完全な互換性、トークンレベルスパースMLAやVVPAといった新しいメカニズムの導入など、いくつかの技術革新が盛り込まれており、パフォーマンスの最適化、長文テキスト処理能力の向上、ハードウェア互換性の強化を実現しています。現在、Model1はまだ開発段階であり、具体的な詳細や機能についてはDeepSeekからの公式発表を待つ必要があります。

モデル1の主な機能

高性能コンピューティングNVIDIAのBlackwellアーキテクチャ（SM100）と完全に互換性があり、B200 GPU上で350テラフロップスの疎演算子を実現し、計算効率を大幅に向上させています。
長文処理このシステムは、トークンレベルのスパースMLAとFP8 KVキャッシュを組み合わせたハイブリッド精度方式を導入することで、メモリ負荷を軽減し、スパース推論によって長文テキストの推論速度を向上させます。
位置情報このモデルは、従来のMLAを用いた長文テキストにおける位置情報の減衰という問題に対処するため、VVPA（数値ベクトル位置認識）メカニズムを採用しており、それによって長文テキストの理解と生成能力を向上させている。
分散ストレージの最適化分散ストレージまたはキーバリュー圧縮のためのエングラムメカニズムを導入し、高スループット要件と組み合わせることで、モデルのストレージと計算効率を最適化します。

モデル1の技術的原理

建築回帰512次元標準Model 1のコアアーキテクチャは、DeepSeek-V3の576次元アーキテクチャとは異なり、512次元に戻されました。この512次元アーキテクチャへの回帰は、次世代ハードウェア（Blackwellアーキテクチャなど）の計算能力との整合性を高めるため、あるいは潜在圧縮率を最適化することを目的としています。
スパースおよび混合精度推論モデル1では、トークンレベルのスパースMLA（マルチヘッド自己注意機構）を導入し、推論中にKVキャッシュを格納するためにFP8を使用し、行列乗算計算の精度を確保するためにbfloat16を使用します。このスパース性と混合精度方式により、メモリ使用量が大幅に削減され、推論速度が向上します。
位置情報認識メカニズム（VVPA）長文テキストにおける位置情報の減衰という問題に対処するため、モデル1ではVVPAメカニズムを導入し、位置情報を認識するモデルの能力を高め、長文テキストの処理性能を向上させています。
ハードウェアの適応と最適化モデル1は、NVIDIAのBlackwellアーキテクチャ（SM100）向けに高度に最適化されており、専用のCUDA命令セット最適化やCUDA 12.9のサポートなどにより、次世代ハードウェア上で最適なパフォーマンスを実現します。

モデル1のプロジェクト住所

GitHubリポジトリ：https://github.com/deepseek-ai/FlashMLA

モデル1の応用シナリオ

自然言語処理（NLP）モデル1は、高品質なテキスト生成、機械翻訳、感情分析に利用できます。長文処理能力に優れているため、一貫性のある論理的なコンテンツを生成でき、ニュース報道、クリエイティブなコピーライティング、多言語翻訳などのタスクに適しています。
インテリジェントな顧客サービスモデル1は、インテリジェントな質問応答と複数ターン対話に対応しており、ユーザーの意図を迅速に理解し、パーソナライズされたソリューションを提供することができ、リアルタイムの顧客サポートや複雑な質問への回答に適しています。
コンテンツ作成モデル1は、創作活動やビデオ脚本作成を支援し、作家や脚本家にインスピレーションと体系的なコンテンツサポートを提供することで、創作効率を向上させることができます。
教育モデル1は、個別の学習提案、練習問題、解説を生成することができ、生徒にインテリジェントな個別指導を提供すると同時に、言語学習や文法訂正も支援します。
健康管理モデル1は、医療報告書や医療記録を分析して医師の診断や治療計画の策定を支援するとともに、患者に健康相談や予備的な診断提案を提供するのに使用できます。