ニュース
AlibabaはQwen3.8-Flash-Nextをオープンソース化し、Qwen4アーキテクチャのプレビュー版を公開した。
アリババ傘下の同義千文は、125Bのメインモデルと6Bのシングルトークンアクティベーションパラメータを使用するQwen3.8-Flash-Nextをオープンソース化し、Qwen4向けに計画されている新しいアーキテクチャを先行して披露した。
アリババ傘下の同義千文は、Qwen3.8-Flash-Nextウェイトを公開しました。このマルチモーダルMoEモデルは、125Bのメインモデルパラメータと51BのNグラム埋め込みパラメータを含み、各トークンに対して約6Bのパラメータが有効化されています。
Qwenは、このモデルはGDNとQwen Sparse Attentionのハイブリッドアーキテクチャを使用しており、Qwen4で計画されている実験的なアーキテクチャのプレビューであると述べています。
参照:Qwen公式発表