AB
AiBoss
News

Mistral Large 4 登陆 Hugging Face:1T 参数 MoE 多模态模型

Mistral 在 Hugging Face 发布 Mistral Large 4(代号 Le Chonk),这是一款约 1T 总参数、49B 激活参数的多模态 MoE 模型,支持文本与图像输入,上下文窗口达 1M tokens,以 FP8 与 NVFP4 两种官方变体发布,并附带 Unsloth 与 llama.cpp 团队制作的 GGUF 量化版本。

Mistral Large 4 在 Hugging Face 发布

据 Hugging Face 博客文章,Mistral 发布了 Mistral Large 4(代号 Le Chonk)。这是一款多模态、多语言的混合专家(MoE)模型,接受文本与图像输入并生成文本,约 1T 总参数、49B 激活参数,上下文窗口为 1M tokens。官方提供 FP8 与 NVFP4 两种变体,另有 Unsloth 与 llama.cpp 团队制作的 GGUF 量化版本。模型以 Mistral Ecosystem Open-Weight License 分发,该许可证由 MIT 衍生而来,对模型即服务(MaaS)类用途设有限制。

架构与能力侧重

文章称,该模型文本解码器有 72 层、隐藏维度 6,144、64 个注意力头,注意力块结合 Multi-head Latent Attention(MLA)与 DeepSeek Sparse Attention(DSA)索引器,每个查询最多选择 2,048 个键位置;解码层采用 3:1 的 RoPE 与 NoPE 交替模式。首个解码层使用稠密前馈网络,其余 71 层为 MoE 块,每个 token 由 softmax 路由器从 128 个专家中选出 4 个,另加 1 个共享专家。视觉侧采用 1.6B 参数的 Pixtral 编码器。Mistral 将网络安全、编码智能体与多模态列为该模型的强项,并称其在 Artificial Analysis Cyber Index 上得分 82%。文章同时表示,模型在 JailbreakBench、StrongREJECT 与 AgentHarm 的网络安全类提示上平均拒答率高于其他开源权重模型。推理方面,transformers、vLLM 与 llama.cpp 均提供首日支持,也可通过 Inference Endpoints 与 Inference Providers 部署。

限制与来源

上述参数、架构与基准分数均来自 Mistral 与 Hugging Face 的单方说明,尚未见独立复现;基准测试结果受评测设置影响,不宜直接外推至具体使用场景。文章未披露定价、区域可用性与完整许可条款细节,实际部署条件、账号与语言支持请以官网及模型卡当前信息为准。本文不构成任何投资或采购建议。来源:Hugging Face 博客《Welcome Le Chonk: Mistral Large 4 on Hugging Face》,发布于 2026 年 10 月 29 日。