Qwen3.8-Flash - Alitongyiが発表したマルチモーダルなMoEモデル

Qwen3.8-Flashとは何ですか？

Qwen3.8-Flashは、アリババクラウド同義千文が開発したマルチモーダルMoEモデルです。パラメータ総数は1250億個で、トークンごとに60億個のみが有効化され、26万2千のコンテキストをネイティブにサポートしています。このモデルは、GDN+QSAハイブリッドアテンション、ゲート付き残差、Nグラム埋め込み、Muonオプティマイザという4つの主要なアーキテクチャ革新を採用しています。トレーニングコストはQwen3.7-Plusのわずか9分の1で、コーディングやオフィス業務においてより優れた性能を発揮します。

Qwen3.8-Flashの主な機能

• 長時間のコンテキスト処理ネイティブで262,000トークンをサポートし、100万トークンまで拡張できるため、長文の文書やコードベースの分析に適しています。
• コードベースのインテリジェントエージェントコード生成、デバッグ、多言語開発など、エンドツーエンドのソフトウェアエンジニアリングタスクをサポートします。
• オフィスオートメーションこれにより、長期的なオフィス業務や専門的な作業タスクの実行が可能になり、ツールを呼び出す機能も統合されます。
• マルチモーダルな理解長時間の動画、科学的なグラフ、視覚的な数学問題、そして現実世界のシナリオを理解する。
• デバイスおよびインターフェース制御視覚認識によって、ウェブページ、Androidデバイス、デスクトップオペレーティングシステムを制御する。
• 推論と質問内容は、科学的推論、競技プログラミング、指示に従う能力、および学際的な統合的推論能力を網羅している。

Qwen3.8-Flashの技術的原理

• GDN + QSA Hybrid Attentionこのモデルは、4層ごとに3つのゲート付きDeltaNet層と1つのQwenスパースアテンション層を組み込むことで、「効率的なメモリ管理＋正確な検索」というハイブリッドなアテンションメカニズムを実現しています。1Mのコンテキストでは、プリフィルスループットは前世代の8.6倍です。
• Gated Residual（GR）これは、従来の単一の残差ストリームを4つの並列ブランチに拡張し、動的ゲーティングによって各レイヤーの情報の読み書き比率を制御し、長距離情報チャネルを維持し、活性化外れ値を抑制し、FP8ストレージをサポートすることで、メモリアクセスオーバーヘッドを大幅に削減します。
• N-gram Embedding通常の単語埋め込みに加え、51バイトのNグラム埋め込み層が導入され、ローカルコンテキストルックアップテーブルを組み合わせることでフレーズの共起パターンを捉えます。この層はホストメモリにオフロードでき、非同期プリフェッチによって計算とオーバーラップさせることが可能で、トークンレベルの計算量の増加はほとんどありません。
• Muon Optimizer主要な線形マッピングの重みにはミューオン直交化最適化が使用され、埋め込みとルーターにはAdamWが引き続き使用されます。スケーリング法則を再適合させた後、より大きな学習率とバッチがサポートされ、効果のないバッチサイズウォームアップ戦略は削除されます。

WeChatでフォローして「オープンソース「、参加するAIオープンソースプロジェクトに関するディスカッショングループ

Qwen3.8-Flashの使い方