LongCat-2.0-Preview - Meituanの1兆パラメータ規模の大規模モデルのプレビュー版。

LongCat-2.0-Previewとは何ですか？

LongCat-2.0-Previewは、美団が発表した1兆パラメータ規模の大規模モデルのプレビュー版です。MoEアーキテクチャを採用し、総パラメータ数は1.6T、活性化パラメータは約48B、1Mの超長文コンテキストに対応しています。このモデルは、5万～6万枚の国産アクセラレータカードのみを使用し、NVIDIAの計算能力は0%で、トレーニングと推論の全プロセスを完了します。1兆規模の大規模モデルのトレーニングと推論のクローズドループが国産チップ上で正常に動作したのは、業界初となります。現在、このモデルは社内テスト向けに公開されており、1日あたり1,000万トークンが無料で提供されます。

LongCat-2.0-Previewの主な機能

• 極めて長い文脈理解100万トークンまでの長文テキスト入力をサポートし、書籍全体、大規模なコードリポジトリ、長文レポートなど、膨大な量のコンテンツを処理できます。
• コード生成と推論MoEアーキテクチャに基づくエキスパートネットワークは、プログラミング、数学的推論、複雑な指示の追従といったタスクにおいて、正確なスケジューリングと安定したパフォーマンスを発揮します。
• 複数ターン対話と意味検索疎な注意機構を用いることで、長い対話履歴の中から重要な情報を迅速に見つけ出すことができ、冗長な計算を削減できる。
• マルチモーダルコンテンツの理解Meituanが地域社会の生活場面で培ってきた経験を活かし、複雑なビジネス文書やテキストと画像が混在するコンテンツの詳細な分析をサポートします。

LongCat-2.0-プレビューの技術的原則

• MoE（ハイブリッドエキスパート）アーキテクチャ合計1.6T個のパラメータのうち、単一の順方向計算に参加するためにアクティブ化されるのはわずか48B個です。推論コストを削減するために、最も関連性の高いエキスパートモジュールがゲーティングルーティングによって動的に選択されます。
• N-gram Embedding元々エキスパート層に配置されていた一部のパラメータを埋め込み層に移動させ、フレーズレベルのモデリング機能を導入することで、高頻度で出現する言語パターンを直接照合してヒットさせることが可能になり、各層の計算オーバーヘッドを削減できます。
• 疎な注意と層流知覚指数我々は軽量で疎なアテンションメカニズムを導入し、クロスレイヤーのセマンティックパスインデックスを重ね合わせることで、完全なO(n²)のアテンション計算を回避し、1Mコンテキスト下で推論レイテンシを制御可能にします。
• 社内で開発された決定論的演算子国内のチップエコシステムをターゲットに、FlashAttention Backward Gradient (FAG)、Scatter型演算子、GEMMモジュールを独自に開発し、性能低下を約5%に抑え、Wankaクラスタ上での長期学習の再現性を確保しました。
• メモリと通信の最適化ピーク時のトレーニングメモリはV-ZBアルゴリズムを用いて60GB未満に圧縮され、エキスパート並列（EP）、テンソル並列（TP）、パイプライン並列（PP）の各戦略は、国内チップの帯域幅とメモリの制約に適応するように再構築される。

LongCat-2.0-Preview の使い方

• ベータテスト参加資格を申請するLongCatオープンプラットフォームにアクセスし、公式サイトの内部テスト申請エントリをクリックして、基本情報を入力し、審査のために送信してください。
• 承認待ち申請提出後、担当チームが申請内容の適格性を審査し、承認され次第、メールまたはSMSでユーザーに権限の有効化を通知します。
• プラットフォームにログインして、クレジット限度額を取得してください。承認済みのアカウントでLongCatプラットフォームにログインすると、システムが自動的に1日あたり1,000万トークンの無料割り当て枠を発行します。
• アクセス方法を選択してくださいユーザーは、ウェブチャットインターフェースを通じて直接体験することも、ドキュメントに従ってAPIキーを取得し、モデルを自身のアプリケーションやワークフローに統合することもできます。
• 長文テキストタスクを開始する長い文書、コードベース、または複雑な手順をダイアログボックスまたはAPIリクエストに入力すると、モデルは1Mコンテキストウィンドウに基づいてMoEエキスパートネットワークによる推論を実行し、結果を返します。