AB
AB
AiBoss

すべてのカテゴリ

project

mHC - DeepSeekチームが導入した新しいニューラルネットワークアーキテクチャ

mHC（Manifold-Constrained Hyper-Connections）は、DeepSeekチームが提唱した新しいニューラルネットワークアーキテクチャ設計手法であり、大規模トレーニングにおける従来のハイパーコネクション（HC）アーキテクチャの問題を解決します。

mHCとは何ですか？

mHC（Manifold-Constrained Hyper-Connections）は、DeepSeekチームが開発した新しいニューラルネットワークアーキテクチャ設計手法であり、大規模トレーニングにおける従来のHyper-Connections（HC）アーキテクチャの安定性の問題を解決します。mHCは、HCの残余接続空間を特定の多様体に投影することで、残余接続の恒等写像特性を回復し、勾配爆発や勾配消失の問題を効果的に回避します。mHCは、Sinkhorn-Knoppアルゴリズムを用いて、残余接続行列を2つのランダム行列からなる多様体に投影し、信号ノルムを厳密に正規化しながら、伝播中に信号の平均が一定に保たれるようにします。mHCは、カーネル融合、選択的再計算、通信オーバーラップなどの効率的なインフラストラクチャ最適化技術を組み込んでおり、大規模モデルでの効率的な実装を保証します。実験結果によると、mHCは、大規模トレーニング中の時間オーバーヘッドがわずかに増加するだけで、トレーニングの安定性、収束速度、および下流タスクのパフォーマンスにおいて、ベースラインモデルとHCを上回ります。一般的なフレームワークとして、mHCは深層学習アーキテクチャ設計のための新しいアイデアを提供し、次世代インフラストラクチャの進化を促進することが期待されています。

mHCの主な機能

  • IDマッピングプロパティを復元するmHCは、残余接続空間を特定の多様体に投影することで、残余接続の恒等写像特性を回復し、従来のハイパーコネクテッドアーキテクチャが多層に拡張する際に発生する信号不安定性の問題を効果的に解決し、大規模トレーニングの安定性を大幅に向上させます。
  • 多様体制約と信号仕様二重ランダム行列多様体を利用することで、mHCは信号が伝搬中に平均値を維持し、信号ノルムを厳密に制御することを保証し、勾配爆発や勾配消失の問題を効果的に回避し、信号伝搬の安定性を大幅に向上させます。
  • 効率的なインフラストラクチャの最適化カーネル融合、選択的再計算、通信オーバーラップなどの技術を用いることで、mHCは最小限のトレーニングオーバーヘッドで大規模モデルにおける効率的な動作を実現し、実用的なアプリケーションにおいて高い効率性と拡張性を確保します。
  • モデルのパフォーマンスを向上させる実験結果によると、mHCは複数の下流タスク、特にBBHやDROPなどの複雑なタスクにおいて、ベースラインモデルや従来のハイパーコネクテッドアーキテクチャを大幅に上回り、モデルの推論能力と全体的なパフォーマンスを向上させることが示されています。
  • 拡張性と柔軟性mHCは、一般的なフレームワークとして、様々なモデルスケールに適用可能であり、将来的に多様な多様体制約を探求するための新たな方向性を示し、次世代インフラストラクチャの進化を促進することが期待される。

mHCの技術的原理

  • 多様体射影mHCは、残差接続行列を特定の多様体空間（例えば、双ランダム行列のバーコフ多面体）に投影することで、接続行列の特性を制約します。この投影により、信号が伝搬中に安定性を保ちつつ、情報交換能力が維持されます。
  • 二重ランダム行列の応用二重ランダム行列は、行と列の合計が1になるという性質を持ち、伝搬中の信号の平均を一定に保ち、信号ノルムを厳密に制御し、勾配爆発や勾配消失の問題を効果的に回避します。
  • シンクホーン・ノップアルゴリズムmHCは、残差接続行列に対して多様体射影を実行するために、シンクホーン・ノップアルゴリズムを利用します。行と列を繰り返し正規化することで、任意の非負行列を二重ランダム行列に調整し、安定した信号伝搬を実現します。
  • アイデンティティマッピングの復元mHCは、多様体制約を用いることで、残余接続の同一性マッピング特性を回復させ、多層ネットワークにおける安定した信号伝播を保証し、従来のハイパーコネクテッドアーキテクチャにおける同一性マッピングの欠如によって引き起こされる学習の不安定性を解決する。
  • 高効率コンピューティングと最適化mHCは、カーネル融合、混合精度演算、選択的再計算技術を組み合わせることで、計算効率を最適化し、メモリアクセスオーバーヘッドを削減し、大規模モデルトレーニングにおいて非常に効率的で拡張性の高いアーキテクチャを実現しています。
  • 信号伝搬の安定性mHCは、残差接続行列を制約することで、順方向および逆方向伝搬中の信号の安定性を確保し、信号利得の極端な値を大幅に低減し、モデル学習の安定性と収束速度を向上させます。

mHCプロジェクトの住所

  • arXiv技術論文：https://arxiv.org/pdf/2512.24880

mHCの応用シナリオ

  • 大規模言語モデルの事前学習mHCは、大規模データセットにおける言語モデルの学習安定性を効果的に向上させることができます。27Bなどの超大規模言語モデルの事前学習タスクに適しており、モデルの収束速度と性能を大幅に向上させます。
  • マルチタスク学習と推論複数の下流タスク（BBH、DROP、GSM8Kなど）を含むシナリオでは、mHCはモデルの推論能力と安定性を向上させ、複雑なタスクにおいてモデルがより良い結果を達成し、マルチタスク学習の効率を向上させるのに役立ちます。
  • 高効率分散トレーニングmHCは、カーネル融合や通信オーバーラップなどの最適化されたインフラストラクチャ設計と組み合わせることで、分散トレーニング環境に適しており、特に大規模クラスタにおいて、トレーニングのオーバーヘッドを大幅に削減し、トレーニング効率を向上させることができます。
  • 次世代アーキテクチャの進化mHCは、一般的なフレームワークとして、斬新なニューラルネットワークアーキテクチャを探求するための基盤を提供し、研究者が多様な制約や最適化戦略の下で革新を起こすことを支援し、次世代インフラストラクチャの進化を促進します。
  • 資源制約のある環境mHCはパフォーマンスを維持しながら計算オーバーヘッドを最小限に抑えるため、モバイルデバイスやエッジコンピューティングなどのリソース制約のある環境に適しており、限られた計算リソースで効率的なモデル展開を実現できます。
  • 学術研究と理論的探求mHCは、深層学習における信号伝播とアーキテクチャ設計の研究に新たな視点を提供し、学術研究におけるニューラルネットワークのトポロジーと最適化戦略の詳細な探求に適している。
戻る