蚂蚁Ling开源Ling-3.0 tiny与flash六个基础检查点

蚂蚁Ling团队开源Ling-3.0-tiny和Ling-3.0-flash的六个基础模型检查点。

这些检查点覆盖pre-trained、mid-trained和WSM-merged三个阶段，均未经过post-training，可作为持续预训练、微调和训练策略研究的起点。团队称，WSM通过加权检查点合并替代学习率衰减，并让研究者先在tiny版本验证策略，再扩展到flash版本。

来源：Ant Ling公告。