AB
AiBoss站
快讯

阿里开源Qwen3.8-Flash-Next,预览Qwen4架构

阿里通义千问开源Qwen3.8-Flash-Next,模型采用125B主模型、6B单Token激活参数,并提前展示计划用于Qwen4的新架构。

阿里通义千问发布并开放Qwen3.8-Flash-Next权重。该多模态MoE模型包含125B主模型参数和51B N-gram嵌入参数,每个Token激活约6B参数。

Qwen表示,该模型采用GDN与Qwen Sparse Attention混合架构,是计划用于Qwen4的实验性架构预览。

参考:Qwen官方公告