openPangu 2.0 - Huawei のオープンソース Pangu 大型モデルのアップグレード バージョン

openPangu 2.0とは何ですか？

openPangu 2.0は、ファーウェイのオープンソース大規模モデルであるPanguのメジャーアップグレード版で、最大505BパラメータのProバージョンと92BパラメータのFlashバージョンを提供します。このモデルは、512Kの超ロングコンテキストを統一的に備え、AscendおよびKirinチップ向けにネイティブに最適化されています。モデル構造、重み、技術レポート、推論コード、事前学習コード、事後学習コード、および学習演算子は、6月30日から順次、サプライチェーン全体で公開されます。

openPangu 2.0の主な機能

• デュアルバージョンマトリックスPro版は極めて高いパフォーマンスを実現するように設計されている一方、Flash版は軽量な導入を前提として設計されています。
• 512K 極めて長いコンテキストこれは、非常に長いテキストの理解、複雑なコードの分析、およびアプリケーション間のエージェントの相互作用を統一的にサポートします。
• Ascendネイティブ最適化シングルカードの推論スループットは、業界の主流であるオープンソースモデルの2倍であり、レイテンシも低くなっています。
• HarmonyOSエージェントの適応タスクはより迅速かつ正確に完了し、トークン消費量とリソース使用量は大幅に削減されます。
• 端面挿入モデルこのモデルは、合計300億個のパラメータと20億個の活性化関数を持つKirinアフィニティモデルであり、携帯電話やIoTデバイス上でのローカル推論をサポートしています。

openPangu 2.0の技術原理

• DSA+SWA独立型階層型ハイブリッドアーキテクチャ業界で初めて独立した階層型ハイブリッドアーキテクチャを採用した本アーキテクチャは、動的スパースアテンション（DSA）とスライディングウィンドウアテンション（SWA）を別々に展開することで、超スパースなアテンションメカニズムを実現します。512Kバイトの長文コンテキストを理解する能力を維持しながら、階層型計算によって冗長なアテンションオーバーヘッドを大幅に削減し、超長文シーケンス推論における計算電力消費を非線形的に減少させます。
• 極めて疎なアクティベーションとエキスパートルーティング28:1のスパース性比率を採用したProバージョンは、合計505B個のパラメータを持ちながら、推論に必要なメモリはわずか18Bです。専門家による最適化されたルーティングと精密な計算割り当てにより、このモデルはトレーニング段階と推論段階の両方において、ある一定レベルを超える一貫性を実現しています。 99%これにより、従来のMoEモデルでよく見られる学習データと推論データの分布のずれの問題が回避され、推論コストとメモリ使用量が大幅に削減されます。
• Ascendネイティブフルスタック最適化アルゴリズムアーキテクチャからトレーニング、推論に至るまで、Ascendチップに完全に最適化されています。トレーニング面では、スーパーノードアフィニティ最適化が実装されており、トレーニング効率が30%向上し、512Kの長シーケンスのトレーニングにおけるスループットが向上しています。 50%推論側では、mHC、Muon、ModAttnなどの高精度なネイティブ演算子を統合することで、業界主流のオープンソースモデルの2倍のシングルカードスループットを実現し、高スループットと低レイテンシのバランスを保っています。
• 末端側の定量的剪定と専門家による再利用オンデバイスモデルは、Kirinチップ専用のネイティブ量子化プルーニング処理を受け、推論速度が50%向上し、メモリ使用量が20%削減されます。エキスパート再利用損失メカニズムが導入され、エキスパート切り替え頻度が50%削減されます。アクティブ化されたエキスパート予測技術と組み合わせることで、オンデバイスモデルのスループットが5倍に向上し、携帯電話やIoTデバイス上での高性能なローカル推論が可能になります。

openPangu 2.0 の使い方

モデルの重み、推論コード、およびトレーニングコードは、6月30日から公式サイトからダウンロードして使用できます。

openPangu 2.0の主な利点

• ネイティブコンピューティング親和性AscendおよびKirinチップとの互換性が高く、追加の変換なしでハードウェアの性能を最大限に引き出すことができます。
• 極めて疎な状態28:1という疎な比率により推論負荷が大幅に軽減され、より小さな活性化パラメータで大規模なモデルを処理できるようになります。
• 極めて長いコンテキスト統合512KBのコンテキストウィンドウは、長文ドキュメント、複数ターンにわたる対話、複雑なエージェントタスクをカバーします。
• トレーニングパイプラインは完全にオープンですこれは業界でも数少ない、完全なオープンソースの事前学習および事後学習コードソースの一つであり、二次開発の敷居を低くする。
• エンドツークラウドのコラボレーションによるカバレッジクラウド側のAscendとエッジ側のKylinを組み合わせたデュアルアーキテクチャにより、データセンターからモバイルデバイスまで、あらゆるシナリオでの展開が可能になります。

openPangu 2.0と類似の競合製品との比較

openPangu 2.0の応用シナリオ

• エンタープライズ知識ベース512Kコンテキスト処理を用いて、超長文の法律契約書、研究論文、財務報告書を詳細に分析する。
• HarmonyOS インテリジェントエージェントHarmonyOSエコシステム内にアプリケーション間スケジューリングエージェントを構築し、デバイスの自動制御とマルチモーダルなインタラクションを実現する。
• アセンド・クラウド・リーズニングAscendクラスタをベースとした費用対効果の高い大規模モデルAPIサービスを導入することで、国内コンピューティング能力の推論コストを削減します。
• エンドサイドプライバシーコンピューティング30B入力モデルを通じて、モバイルデバイス上でのローカル文書処理とオフラインスマートアシスタントを可能にします。
• 垂直産業向けカスタマイズオープンソースのトレーニングコードを活用することで、製造業、医療、行政などの分野向けに特化したモデルを迅速に微調整できます。